Guía de llama.cpp v1.0: novedades y cómo actualizar

Publicado el 13 de noviembre de 2026, llama.cpp v1.0.0 es el primer lanzamiento estable sujeto a semver: cualquier cambio incompatible en la API pública de C requerirá ahora un incremento de versión mayor. GitHub marca la etiqueta Latest. Las notas de la versión presentan esta actualización como una limpieza del proyecto y una mejora de compatibilidad, con eliminaciones de API, nuevas cachés y compatibilidad con más modelos.

v1.0 es una garantía de versión, no un aumento de velocidad

Según la sección de cambios de API de las notas de la versión, la promesa de compatibilidad documentada se aplica a la API pública de C definida en llama.h. Los parámetros de la CLI, las rutas del servidor y el comportamiento de las versiones nightly siguen sujetos a cambios. Usa la etiqueta v1.0.0 para crear compilaciones reproducibles y recurre a las versiones nightly por commit —la página de lanzamiento muestra la nightly b12359 junto a v1.0.0— solo si necesitas correcciones más recientes.

«¿Significa esto que van a estabilizar los parámetros de la CLI, en lugar de cambiarlos en cada lanzamiento hasta el punto de que ninguna aplicación pueda depender realmente de upstream?» — u/halvacoffee en r/LocalLLaMA

Antes de actualizar: 4 comprobaciones para scripts e integraciones antiguas

Estos cambios de compatibilidad son los que más suelen afectar a las instalaciones antiguas. Empieza buscando lo siguiente:

grep -rn "llama_set_warmup\|clip\.h\|--mmap\|--no-mmap\|--defrag-thold\|:8080\|localhost:8080" .

Comprobación 1: se eliminan funciones de C; actualiza los bindings

Según las notas de la versión, v1.0 elimina 35 funciones obsoletas de llama.h, entre ellas llama_set_warmup. También desaparecen por separado el campo defrag_thold y la opción --defrag-thold. Además, se cambia el nombre de un símbolo —de llama_set_embd_state_src a llama_set_ctx_state_src— y la API NextN pasa a formar parte de llama.h. La lista completa de eliminaciones está en el registro de cambios enlazado arriba.

Comprobación 2: el puerto del servidor pasa de 8080 a 9931; actualiza las URL

llama-server usa ahora por defecto http://127.0.0.1:9931. Los ejemplos antiguos dan por hecho el puerto 8080, como documenta la guía de configuración de Axiomi. Cambia las comprobaciones de estado y las URL base del editor, o pasa --port 8080 si quieres conservar el mapeo anterior.

Comprobación 3: se rechaza --mmap; cambia a los modos de carga de -lm

Si tu compilación rechaza --mmap con error: invalid argument: --mmap, utiliza la alternativa documentada -lm, --load-mode (auto, none, mmap, mlock, mmap+mlock, dio). Empieza con -lm auto y confirma después el comportamiento con llama-cli --help y una prueba de carga representativa.

Comprobación 4: desaparece clip.h; migra el código de visión a mtmd

Las integraciones de visión basadas en clip.h deben migrarse a mtmd, el componente consolidado que comparte búferes de cómputo entre subcontextos, según las notas de la versión. Antes de actualizar tus pipelines de visión, consulta la sección de multimodalidad del lanzamiento para conocer las indicaciones específicas de cada modelo.

Qué aporta realmente llama.cpp v1.0

Según las notas de la versión, hay cinco novedades especialmente relevantes para ejecutar modelos en local.

Instala llama.cpp y levanta un servidor compatible con OpenAI

Esta secuencia utiliza los nuevos valores predeterminados —puerto 9931, llama-cli / llama-server y descargas mediante -hf— de la documentación oficial de instalación y la guía de configuración de Axiomi.

1. Instala:

curl -LsSf https://llama.app/install.sh | sh

También puedes utilizar un gestor de paquetes o descargar un ZIP precompilado desde la página de lanzamientos. Comprueba la instalación con llama-cli --version. Si necesitas hardware no compatible, parches propios o correcciones que aún no se hayan integrado, compila el proyecto desde el código fuente.

2. Chatea desde el terminal:

llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192

Según la guía de Axiomi, -hf utiliza la caché de Hugging Face y selecciona Q4_K_M cuando no se indica ningún sufijo :quant. Además, el valor predeterminado --fit on ajusta los valores no definidos para adaptarlos a la memoria del dispositivo.

3. Sirve una API local:

llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192
# open http://127.0.0.1:9931

Entre las rutas disponibles están /v1/chat/completions, /v1/responses, /v1/embeddings, /v1/messages y /v1/audio/speech (lista de rutas de Axiomi). Haz una prueba rápida:

curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain GGUF in one sentence."}]}'

La misma guía utiliza en su ejemplo de Python base_url="http://localhost:9931/v1" junto con api_key="no-key" para servir un único modelo en local. Mantén 127.0.0.1 cuando el uso sea local.

v1.0, nightly, wrappers o API alojada: cuál elegir

Preguntas frecuentes

¿v1.0 es estable? ¿Seguirá funcionando mi instalación actual?

La promesa de estabilidad se aplica a la API pública de C; los parámetros de la CLI, las rutas del servidor y las nightly no están cubiertos. Antes de actualizar, busca llama_set_warmup, clip.h, --mmap, --defrag-thold y cualquier 8080 fijado directamente en el código.

¿Cuánta memoria necesita un modelo 8B?

La tabla de tamaños de Tech Insider indica aproximadamente 4,9 GB para Q4_K_M 8B frente a 32,1 GB sin cuantizar, sin contar el contexto ni el runtime. Como regla general, mide el rendimiento en tu propio equipo con llama-bench, ya que las cifras de CPU de los modelos pequeños no se trasladan automáticamente.

Fija v1.0 para todo lo que distribuyas

Fija la etiqueta en CI, mantén un equipo con versiones nightly y vuelve a probar los wrappers contra el servidor fijado antes de actualizarlos.