diff --git a/ollama/llama-swap.yaml b/ollama/llama-swap.yaml index 95f8085..b859da4 100644 --- a/ollama/llama-swap.yaml +++ b/ollama/llama-swap.yaml @@ -26,7 +26,8 @@ models: --ctx-size 32768 --flash-attn --jinja - --cache-type-k q8_0 --cache-type-v q8_0 + --cache-type-k q8_0 + --cache-type-v q8_0 --temp 0.7 --top-p 0.9 "qwen3.5:9b-uncensored": @@ -40,7 +41,8 @@ models: --ctx-size 32768 --flash-attn --jinja - --cache-type-k q8_0 --cache-type-v q8_0 + --cache-type-k q8_0 + --cache-type-v q8_0 --temp 0.7 --top-p 0.9 "qwen3.5:9b-claude-4.6-opus-reasoning": @@ -54,29 +56,30 @@ models: --ctx-size 32768 --flash-attn --jinja - --cache-type-k q8_0 --cache-type-v q8_0 + --cache-type-k q8_0 + --cache-type-v q8_0 --temp 0.6 --top-p 0.95 "gemma4:e4b-uncensored": cmd: | /app/llama-server --host 0.0.0.0 --port ${PORT} - --jinja - --flash-attn --model /models/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q8_K_P.gguf --mmproj /models/mmproj-Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-f16.gguf --alias "hf.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive:q8_k_p" --n-gpu-layers 999 --ctx-size 8192 + --flash-attn + --jinja "gemma4:26b-a4b": cmd: | /app/llama-server --host 0.0.0.0 --port ${PORT} - --jinja - --flash-attn --model /models/gemma-4-26B-A4B-it-UD-IQ4_NL.gguf --mmproj /models/gemma-4-26B-A4B-it-UD-IQ4_NL-mmproj-BF16.gguf --alias "hf.co/unsloth/gemma-4-26B-A4B-it:ud-iq4_nl" --n-gpu-layers 999 --ctx-size 8192 + --flash-attn + --jinja