Guida a llama.cpp v1.0: cosa cambia e come aggiornare

Pubblicato il 13 novembre 2026, llama.cpp v1.0.0 è la prima release stabile soggetta al versionamento semantico: da ora, ogni modifica incompatibile alla C API pubblica richiederà un incremento della versione major. Su GitHub il tag è indicato come Latest. Le note di rilascio descrivono una versione dedicata a pulizia e compatibilità, con API rimosse, nuove cache e supporto a nuovi modelli.

v1.0 è una promessa sulla compatibilità, non un boost di velocità

Come specificato nella sezione dedicata ai cambiamenti API delle note di rilascio, la promessa di compatibilità riguarda la C API pubblica contenuta in llama.h. Flag della CLI, route del server e comportamento delle nightly restano invece soggetti a evoluzione. Per build riproducibili conviene usare il tag v1.0.0; scegli le nightly per-commit — la pagina della release affianca la nightly b12359 a v1.0.0 — solo se ti servono correzioni più recenti.

"Quindi stabilizzeranno i parametri della CLI invece di cambiarli a ogni release, fino al punto in cui nessuna app può davvero fare affidamento sull'upstream?" — u/halvacoffee su r/LocalLLaMA

Prima di aggiornare: 4 controlli per script e integrazioni meno recenti

Questi cambiamenti di compatibilità sono quelli che più spesso fanno emergere problemi nelle configurazioni esistenti. Parti da una ricerca:

grep -rn "llama_set_warmup\|clip\.h\|--mmap\|--no-mmap\|--defrag-thold\|:8080\|localhost:8080" .

Controllo 1: funzioni C rimosse — aggiorna i binding

Secondo le note di rilascio, v1.0 elimina da llama.h 35 funzioni deprecate, tra cui llama_set_warmup, e rimuove separatamente il campo defrag_thold e l'opzione --defrag-thold. Un simbolo cambia nome: llama_set_embd_state_src diventa llama_set_ctx_state_src. Inoltre, l'API NextN entra a far parte di llama.h. L'elenco completo delle rimozioni è disponibile nel changelog della release, collegato sopra.

Controllo 2: la porta del server passa da 8080 a 9931 — aggiorna gli URL

llama-server ora usa come impostazione predefinita http://127.0.0.1:9931. Gli esempi meno recenti fanno invece riferimento a 8080, come documentato nella guida alla configurazione di Axiomi. Aggiorna gli health check e gli URL di base dell'editor, oppure passa --port 8080 per mantenere la vecchia configurazione.

Controllo 3: --mmap non è più accettato — usa le modalità di caricamento di -lm

Se la build rifiuta --mmap mostrando error: invalid argument: --mmap, passa alla sostituzione documentata -lm, --load-mode, che supporta auto, none, mmap, mlock, mmap+mlock e dio. Parti da -lm auto, poi verifica il comportamento con llama-cli --help e con un test di caricamento rappresentativo.

Controllo 4: clip.h non c'è più — porta il codice vision su mtmd

Le integrazioni vision basate su clip.h devono passare a mtmd, il componente unificato che, secondo le note di rilascio, condivide i buffer di calcolo tra i sottocontesti. Prima di aggiornare le pipeline vision, consulta la sezione multi-modalità della release per le note specifiche dei singoli modelli.

Le novità concrete di llama.cpp v1.0

Per l'esecuzione locale, le cinque aggiunte più interessanti sono quelle elencate nelle note di rilascio.

Dall'installazione al server compatibile con OpenAI

La procedura seguente usa le nuove impostazioni predefinite — porta 9931, llama-cli / llama-server e download tramite -hf — indicate nella documentazione ufficiale sull'installazione e nella guida alla configurazione di Axiomi.

1. Installa:

curl -LsSf https://llama.app/install.sh | sh

In alternativa puoi usare un gestore di pacchetti o uno ZIP precompilato dalla pagina delle release. Verifica l'installazione con llama-cli --version. Se usi hardware non supportato, patch personalizzate o correzioni non ancora integrate, conviene invece compilare dai sorgenti.

2. Avvia una chat nel terminale:

llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192

Come spiega la guida di Axiomi, -hf usa la cache di Hugging Face e seleziona Q4_K_M quando non viene specificato alcun suffisso :quant. Inoltre, il valore predefinito --fit on adatta i parametri non impostati alla memoria disponibile sul dispositivo.

3. Avvia un'API locale:

llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192
# open http://127.0.0.1:9931

Tra le route disponibili ci sono /v1/chat/completions, /v1/responses, /v1/embeddings, /v1/messages e /v1/audio/speech (elenco delle route di Axiomi). Per un test rapido:

curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain GGUF in one sentence."}]}'

La stessa guida mostra, per il serving locale di un singolo modello, un esempio Python con base_url="http://localhost:9931/v1" e api_key="no-key". Per l'uso locale, mantieni 127.0.0.1.

v1.0, nightly, wrapper o API hosted: quale scegliere

Domande frequenti

v1.0 è stabile? La mia configurazione esistente continuerà a funzionare?

La promessa di stabilità riguarda la C API pubblica; flag della CLI, route del server e nightly ne restano esclusi. Prima di aggiornare, cerca llama_set_warmup, clip.h, --mmap, --defrag-thold e ogni riferimento fisso a 8080.

Quanta memoria serve per un modello 8B?

La tabella delle dimensioni di Tech Insider indica circa 4,9 GB per Q4_K_M 8B, contro 32,1 GB senza quantizzazione, prima di aggiungere contesto e runtime. Come regola pratica, misura il comportamento sulla tua macchina con llama-bench: i numeri della CPU ottenuti con modelli molto piccoli non sono trasferibili.

Blocca v1.0 per tutto ciò che distribuisci

Fissa il tag nella CI, mantieni una macchina sulle nightly e, prima di aggiornarli, verifica nuovamente i wrapper contro il server bloccato.