diff --git a/ollama/llama-swap.yaml b/ollama/llama-swap.yaml index b859da4..5bae4af 100644 --- a/ollama/llama-swap.yaml +++ b/ollama/llama-swap.yaml @@ -11,7 +11,7 @@ models: --alias qwen3.5:9b --n-gpu-layers 999 --ctx-size 8192 - --flash-attn + --flash-attn on --jinja --temp 0.7 --top-p 0.9 @@ -24,7 +24,7 @@ models: --alias qwen3.5:9b-32k --n-gpu-layers 999 --ctx-size 32768 - --flash-attn + --flash-attn on --jinja --cache-type-k q8_0 --cache-type-v q8_0 @@ -39,7 +39,7 @@ models: --alias "hf.co/HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive:q4_k_m" --n-gpu-layers 999 --ctx-size 32768 - --flash-attn + --flash-attn on --jinja --cache-type-k q8_0 --cache-type-v q8_0 @@ -54,7 +54,7 @@ models: --alias "hf.co/Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-GGUF:q4_k_m" --n-gpu-layers 999 --ctx-size 32768 - --flash-attn + --flash-attn on --jinja --cache-type-k q8_0 --cache-type-v q8_0 @@ -69,7 +69,7 @@ models: --alias "hf.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive:q8_k_p" --n-gpu-layers 999 --ctx-size 8192 - --flash-attn + --flash-attn on --jinja "gemma4:26b-a4b": @@ -81,5 +81,5 @@ models: --alias "hf.co/unsloth/gemma-4-26B-A4B-it:ud-iq4_nl" --n-gpu-layers 999 --ctx-size 8192 - --flash-attn + --flash-attn on --jinja