早鳥價(12 月 25 日截止),只要持續訂閱就一直鎖定:Go 每月 $10(原價 $20),Plus 用 Opus 5.5 每月只要 $30(原價 $50)立即訂閱 →

Inkling 2 Mini 評測:20GB 機型,真正的筆電級速度

託管服務的圖表標示每秒 280 tokens,但在筆電上實際執行時,速度會因硬體與執行環境不同,落在 8 到 220 tok/s 之間。Inkling 2 Mini 是離線程式代理的強力選擇:它採用開放權重、規模為 26.4B,容量約 20GB。不過,下載之前仍要先了解它在聊天、事實正確性與 API 支援方面的不足。

誰適合使用 Inkling 2 Mini?誰應該跳過?

Inkling 2 Mini 很適合某一類工作,卻不適合另外幾類,因此真正決定它是否值得用的,是工作負載,而不是排行榜上的數字。搭配工具與搜尋功能進行離線程式輔助,是它最擅長的場景;如果主要需求是聊天,或只能透過 API 使用,就不太合適。

你的工作負載Mini 的評價
在 32GB 以上的 Mac 或 DGX Spark 上執行離線程式代理非常適合:目前最佳成績都出現在這類場景
私有長上下文工作(名義上最高 1M tokens)值得測試:實際使用建議先從 32K context 開始
多輪聊天或嚴格遵循指令跳過:Qwen3.8-27B 在這方面的測試表現更好
目前使用託管 API跳過:尚未有 serverless listing,目前只有取樣與微調費率

接下來會拆解這個分野背後的數字:循環式架構改變了什麼、哪些 benchmark 值得參考、本機速度實際如何,以及這個價格究竟買到什麼。

Inkling 2 Mini 的架構,以及循環運算如何運作

Thinking Machines Lab 在 November 20, 2026 發表 Inkling 2 Mini,採 Apache 2.0 授權並開放權重。模型權重放在 Hugging Face,名稱為 thinkingmachines/Inkling-2-Mini;支援文字與圖片輸入、文字輸出,標示的最大 context 為 1-million-token。

規格Inkling 2 Mini
發布資訊November 20, 2026,Thinking Machines Lab
授權Apache 2.0
參數總計 26.4B / 每個 token 啟用 3.4B / 循環後有效 5.4B
層數儲存 24 層;中間 12 層每個 token 執行 3 次(6 + 3x12 + 6 = 48 次運算)
MoE 路由每層每個 token 從 128 個 experts 中選 8 個
精度20 層採 NVFP4,最後 4 層採 MXFP8;checkpoint 約 20GB(19.5GB + 0.64GB predictor)
Context / 模態最高 1M tokens;輸入文字 + 圖片,輸出文字
本機目標平台透過 Ollama 在 32GB 以上記憶體的 Mac 上執行,或按照 model card 使用一台 NVIDIA DGX Spark

3.4B 指的是儲存狀態下的啟用參數;把三次循環都算進去後,有效運算量約為 5.4B。權重重複使用讓模型檔案保持精簡,但也讓每個 token 需要更多運算,Hugging Face 的技術解析有更完整的說明。

循環增加的是運算量,不是儲存的知識。發布公告指出,Mini 在事實回憶方面不如更大的 Inkling 模型,因為知識量主要仍會隨總參數量增加。這也是為什麼搜尋與工具對這個模型格外重要。

Thinking Machines' official Inkling 2 Mini announcement page

哪些 benchmark 值得相信?哪些數字要打折看待?

以下分數全部來自該實驗室透過 Hugging Face model card 公開的測試工具。Mini 在工具驅動的程式工作與搜尋方面領先,但在推理、視覺能力與聊天紀律上則持平或落後。

Inkling 2 Mini vs Qwen3.8-27B on six vendor-reported benchmarks

Mini 在 DeepSWE v1.1 以 48.2% 領先 Qwen3.8-27B 的 42.2%,SWE-Bench Verified 則是 79.2% 對 77.8%,BrowseComp 為 79.0% 對 61.6%,MCP Atlas 為 82.7% 對 77.3%。Artificial Analysis 的 Intelligence Index 兩者同為 20.1,但 Mini 完成該 index 任務只需 9.0 分鐘,Qwen 則需 38.2 分鐘。ARC Prize 在最高推理設定下,測得 ARC-AGI-1 為 84.5%,ARC-AGI-2 為 49.3%。

不過,同一份 model card 也列出了 Mini 落後的項目:HLE-Diamond 為 15.2% 對 15.3%,MMMU Pro 為 74.9% 對 76.3%,Terminal-Bench v2.1 為 71.6% 對 73.0%。事實正確性的差距更明顯,AA-Omniscience non-hallucination 為 63.4%,Qwen 則是 71.4%。ComplexConstraints(33.4%)與 MultiChallenge(50.0%)也落後 Qwen。

本機執行的速度,不能只看一個數字

官方 Ollama listing 與 model card 都列出 32GB Mac 或 DGX Spark,但循環式模型在早期的支援狀況,讓實際速度差異非常大。託管環境在 Artificial Analysis 測得的 280 tok/s,並不能很好預測筆電上的速度。

環境測得速度來源
託管評測(Artificial Analysis)280 tok/s第三方測量
RTX 4090、修補版 vLLM + FP8/NVFP4 + drafter約 190-220 tok/sReddit 使用者,僅限修補後(基準為 117)
M5 Max MacBook Pro約 125 tok/s@alexocheema
M1 Max MacBook Pro 64GB、4-bit quant約 20 tok/sHacker News 使用者 gregsadetsky,經由 eesel 的發布評測引用
早期 llama.cpp builds、各種硬體約 5-10 tok/sr/LocalLLM 討論串

「連 5 t/s 都跑不到。」— u/KURD_1_STAN,r/LocalLLM 比較討論串

執行環境支援度與量化方式,是速度差異的主要原因:目前的 build 比首日版本更能處理循環層,而 quant 選擇也會改變模型佔用空間。在長 context 進一步增加 KV-cache 壓力之前,建議先注意 4-bit quant 的容量;根據 Unsloth 指南(由 Crewmark 引用),建議值約為 17.6GB,另加 639MB 的 vision projector。

在一次等延遲的付款配對測試中,Qwen 以 98.2% 準確率、零筆誤配勝出;Mini 則是 96.9% 準確率、五筆誤配:

「我們在實際付款配對工作負載上測試了 Inkling 2 Mini 與 Qwen3.8-27B……Qwen:98.2% acc,0 false matches……Inkling:96.9%,5 false matches……這項工作還是用 Qwen。」— @exebat3(貼文)

實際使用上的建議是:先從 32K context 開始,遇到記憶體壓力就降低,並在評估品質之前確認你的執行環境支援循環層。

有費率,卻沒有結帳按鈕

根據 Artificial Analysis model page 引用的 Tinker 費率,每百萬輸入 tokens 為 $0.15,快取輸入為 $0.015,輸出為 $0.50;微調則是 $0.75(64K)與 $1.50(256K)。套用到實測 token 用量後,每個 index 任務約為 $0.59,Qwen3.8-27B 則是 $3.53。

但 $0.59 只是估算值,不代表目前可以直接購買的託管價格。評測當時,Mini 尚未出現在任何 serverless inference listing 中;eesel 的評測也記錄了它對 Tinker 與 OpenRouter 的查詢結果。此外,Mini 在 index 執行中產生了 161M output tokens,中位數則是 85.7M,因此每 token 價格較低的優勢,會被更高的輸出量抵銷一部分。若要自行託管,應該把硬體、電費與設定成本,和託管版 Qwen 或 frontier API 一起比較。

兩個設定值,決定它能不能順利工作

Reasoning effort 從 none(0.0)、minimal(0.1)、low(0.2)、medium(0.7)、high(0.9,預設值),一路到 xhigh/max(0.99)。根據 model card,設為 minimum 並不會完全停用推理。

較低的設定反而可能更好用:在 r/LocalLLM 的 Terminal-Bench 討論中,一名使用者在 13 項子集以 low effort 得到 10/13,但 medium effort 卻反覆逾時。另一方面,eesel 評測引用的一名 Hacker News 測試者,在未使用工具時消耗了 19,200 個 thinking tokens 仍未完成任務;開啟搜尋後雖然找到解法,卻用了錯誤的 hook 名稱。

請限制輸出 tokens 與 agent turns,將檔案系統存取放進 sandbox,並要求人工審核後再投入正式環境。model card提醒,模型可能在未經確認的情況下執行破壞性操作,也可能陷入推理循環,尤其是在除錯程式時。

下載之前,先接受這個取捨

Mini 透過重複使用中間層,在不增加 checkpoint 大小的前提下換取更多運算;該實驗室也提供可變循環的研究 checkpoint,用來研究這種行為(walkthrough)。它的問題並非抽象的理論風險,而是很具體:除錯時陷入循環、使用者回報回覆中途切換成日文,以及需要嚴格限制的工具呼叫。如果你的目標是搭配防護措施進行離線程式工作,Mini 值得下載;如果需要穩定的聊天體驗或一鍵可用的 API,則應該先等等。

常見問題

Inkling 2 Mini 能在筆電上執行嗎?

可以,但前提是使用合適的 build:透過 Ollama 或目前版本的 llama.cpp,在 32GB 以上的 Apple silicon Mac 上執行,最好使用 4-bit(約 17.6GB,另加 projector)。較舊的 M1 Max 預期約 20 tok/s,M5 硬體則可達 100+ tok/s;未修補的執行環境可能只有個位數速度(請參考上表)。

Inkling 2 Mini 比 Qwen3.8-27B 好嗎?

程式代理方面是,聊天方面不是。請參考上方圖表:Mini 在 DeepSWE、SWE-Bench Verified、BrowseComp 與 MCP Atlas 領先;Qwen 則在 Terminal-Bench v2.1、MMMU Pro、事實正確性與受限指令方面領先。所有數字都是透過 model card 公開的供應商測試結果。

為什麼來源同時寫 3.4B 與 5.4B active parameters?

3.4B 是儲存狀態下的啟用參數;5.4B 則是在此基礎上加上三次循環,每次約 1.0B。評估記憶體需求時看 3.4B,評估運算量時看 5.4B。

現在可以透過託管 API 呼叫 Inkling 2 Mini 嗎?

不行,評測當時尚未有 first-party serverless endpoint。根據 eesel 的查詢,Tinker 提供取樣與微調費率,但沒有 Mini 的 serverless listing。你可以在本機執行 Hugging Face 權重,或等待託管服務支援。

如何避免推理循環?

依照 model card 的建議,先嘗試 low(0.2)effort,限制輸出 tokens 與 agent turns,並將工具放進 sandbox。

延伸閱讀:想了解 594B sibling Mini 的答案,可參考 Inkling 2 Small review and API pricing;想把 Mini 放進各種代理選項中比較,可閱讀 Best LLM for coding agents in 2026;若要了解 Mini 在本機依賴的執行環境,請看 llama.cpp v1.0 guide。