llama.cpp v1.0.0 於 2026 年 11 月 13 日發布,這是專案首個採用語意化版本規則管理的穩定版:往後只要變更公開 C API,就必須提升主版本號。GitHub 已將 v1.0.0 標記為 Latest。版本說明將這次更新定位為清理與相容性版本,重點包括移除 API、加入新的快取機制,以及擴大模型支援。
v1.0 的重點是版本承諾,不是效能突然加速
根據版本說明中的 API 變更章節,這次明確承諾相容性的範圍是 llama.h 裡的公開 C API;CLI 參數、伺服器路由與 nightly 版本仍應視為持續演進中的介面。需要可重現建置時,請固定使用 v1.0.0 標籤;只有在需要較新修正時,才使用每次 commit 的 nightly 版本(發布頁同時列出 nightly b12359 與 v1.0.0)。
「這是不是代表他們終於會穩定 CLI 參數,而不是每個版本都改到沒有任何應用程式能真正依賴上游?」—— u/halvacoffee 於 r/LocalLLaMA 發表的看法
升級前先檢查:舊腳本與整合環境的 4 個相容性地雷
以下變更最容易影響既有環境,建議先用 grep 搜尋:
grep -rn "llama_set_warmup\|clip\.h\|--mmap\|--no-mmap\|--defrag-thold\|:8080\|localhost:8080" .
檢查 1:C 函式被移除——更新繫結程式
根據版本說明,v1.0 從 llama.h 移除了 35 個已棄用函式,其中包括 llama_set_warmup;另外也移除了 defrag_thold 欄位與 --defrag-thold 選項。其中一個符號改名為 llama_set_ctx_state_src(原本是 llama_set_embd_state_src),NextN API 則正式移入 llama.h。完整移除清單請參閱上方連結的版本變更記錄。
檢查 2:伺服器連接埠從 8080 改為 9931——更新 URL
llama-server 現在預設使用 http://127.0.0.1:9931;舊範例仍多半假設使用 8080,Axiomi 設定指南也有說明這項差異。請更新健康檢查與編輯器的 base URL;如果想保留舊的連接埠對應,也可以傳入 --port 8080。
檢查 3:--mmap 不再接受——改用 -lm 載入模式
如果建置後使用 --mmap 出現 error: invalid argument: --mmap,請改用文件所列的 -lm, --load-mode 替代方案,可選值包括 auto、none、mmap、mlock、mmap+mlock 與 dio。建議先從 -lm auto 開始,再用 llama-cli --help 確認參數,並執行具代表性的載入測試。
檢查 4:clip.h 已移除——將視覺程式碼遷移至 mtmd
仍依賴 clip.h 的視覺整合程式,必須改用整合後的 mtmd。根據版本說明,它能在不同子 context 之間共用計算緩衝區。升級視覺流程前,也請先查看版本說明中的多模態章節,確認各模型的個別注意事項。
llama.cpp v1.0 實際新增了什麼?
根據版本說明,以下 5 項新增功能最值得本機使用者留意。
| 功能 | 用途 | 適合誰 |
|---|---|---|
FP8 KV 快取(-ctk/-ctv f8_e4m3) | 相較於 f16,降低長 context 的 KV 快取記憶體用量 | 在 VRAM 有限的情況下使用長 context 聊天與 RAG |
MoE expert 快取(moe_cache_size、moe_cache_cpu_share) | 快取 experts,並可設定 CPU 參與比例 | 需要將超出 VRAM 容量的 MoE 模型延伸到其他記憶體時 |
相容 OpenAI 的 /v1/audio/speech,以及 /tts temperature、drama-3 TTS | 加入伺服器端語音生成 | 想在本機執行、避免使用雲端 TTS 的語音應用程式 |
伺服器強化(選擇性啟用的 --allow-unauthenticated-tools、--media-allow-private-urls;以及 CORS、DNS rebinding、SSRF、MCP cancel 修正) | 處理多項與 localhost 暴露及工具執行相關的問題 | 任何將服務綁定到 127.0.0.1 以外位置的使用者 |
新增模型支援(Kimi-K3.1-Pro、Ripple-65B-Preview dense 65B、xing4_0、視覺功能更新) | 擴大 GGUF 支援範圍 | 正在追蹤這些模型發布的使用者 |
從安裝到啟動 OpenAI 相容伺服器
以下流程採用官方安裝文件與 Axiomi 設定指南中的新預設值,包括連接埠 9931、llama-cli / llama-server,以及透過 -hf 下載模型。
1. 安裝:
curl -LsSf https://llama.app/install.sh | sh
也可以使用套件管理器,或從發布頁下載預先建置的 ZIP。使用 llama-cli --version 確認安裝結果。如果硬體不受支援、需要套用自訂修補,或想使用尚未合併的修正,則應改為從原始碼建置。
2. 在終端機聊天:
llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192
依照 Axiomi 指南的說明,-hf 會從 Hugging Face 快取模型;如果沒有指定 :quant 後綴,則會選擇 Q4_K_M。預設的 --fit on 則會調整未設定的值,讓模型符合裝置記憶體容量。
3. 提供本機 API:
llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192
# open http://127.0.0.1:9931
可用路由包括 /v1/chat/completions、/v1/responses、/v1/embeddings、/v1/messages 與 /v1/audio/speech(Axiomi 路由清單)。先用以下指令做基本測試:
curl http://localhost:9931/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain GGUF in one sentence."}]}'
同一份指南中的 Python 範例,會在本機提供單一模型服務時使用 base_url="http://localhost:9931/v1" 與 api_key="no-key"。若只供本機使用,請維持綁定 127.0.0.1。
v1.0、Nightly、封裝工具與 Hosted API:該選哪一種?
| 選項 | 適合情境 | 注意事項 |
|---|---|---|
固定使用 v1.0.0 | 正在發布應用程式或撰寫教學,需要可重現的建置結果 | 會錯過 11 月 13 日之後合併的修正 |
追蹤 nightly(b12359+) | 需要最新模型支援或後端修正 | 參數與行為仍可能變動 |
| Ollama / LM Studio | 想使用不必處理大量參數的函式庫或 GUI | 通常較難直接控制 layers、快取與伺服器參數 |
| Hosted API | 需要彈性擴充服務,或不想受本機 VRAM 上限限制 | 一般而言需要按 token 付費,資料也會離開本機 |
常見問題
v1.0 穩定嗎?現有環境還能繼續使用嗎?
穩定性承諾只涵蓋公開 C API;CLI 參數、伺服器路由與 nightly 版本則不在此範圍內。升級前,請先搜尋 llama_set_warmup、clip.h、--mmap、--defrag-thold,以及硬編碼的 8080。
8B 模型需要多少記憶體?
Tech Insider 的容量表列出,8B 模型使用 Q4_K_M 時約需 4.9 GB,未量化則為 32.1 GB;這還沒計入 context 與執行期需求。粗略來說,最好用 llama-bench 在自己的機器上實測,因為小模型的 CPU 數據不一定能套用到你的環境。
凡是要發布的東西,都應固定使用 v1.0
在 CI 中固定版本標籤,保留一台機器追蹤 nightly,並在升級 wrapper 前,先用固定版本的伺服器重新測試整套整合流程。