AIREITER13 ноября 2026 года вышел llama.cpp v1.0.0 — первый стабильный релиз проекта с семантическим управлением версиями. Теперь несовместимые изменения публичного C API требуют повышения мажорной версии. На GitHub тег отмечен как Latest. В примечаниях к релизу v1.0 описан как выпуск с очисткой API и улучшением совместимости: удалены устаревшие элементы, добавлены новые кэши и поддержка моделей.
v1.0 — это гарантия совместимости, а не прирост скорости
Согласно разделу об изменениях API в примечаниях к релизу, обещание совместимости распространяется на публичный C API из llama.h. Флаги CLI, маршруты сервера и поведение nightly-сборок по-прежнему могут меняться. Для воспроизводимых сборок используйте тег v1.0.0, а nightly-сборки с фиксацией на конкретном коммите — на странице релиза рядом с v1.0.0 указан nightly b12359 — только если нужны более свежие исправления.
«Значит ли это, что параметры CLI наконец стабилизируют, вместо того чтобы менять их в каждом релизе так, что ни одно приложение не может нормально полагаться на upstream?» — u/halvacoffee на r/LocalLLaMA
Перед обновлением: 4 проверки для старых скриптов и интеграций
Именно эти изменения совместимости чаще всего ломают старые конфигурации. Для начала выполните поиск:
grep -rn "llama_set_warmup\|clip\.h\|--mmap\|--no-mmap\|--defrag-thold\|:8080\|localhost:8080" .Проверка 1: удалённые функции C — обновите биндинги
Согласно примечаниям к релизу, v1.0 удаляет 35 устаревших функций из llama.h, включая llama_set_warmup. Отдельно убраны поле defrag_thold и параметр --defrag-thold. Один символ переименован: llama_set_embd_state_src стал llama_set_ctx_state_src. Кроме того, API NextN теперь включён в llama.h. Полный список удалённых элементов приведён в связанном выше чейнджлоге релиза.
Проверка 2: порт сервера 8080 → 9931 — обновите URL
Теперь llama-server по умолчанию запускается на http://127.0.0.1:9931. В старых примерах обычно указан 8080, как отмечено в руководстве Axiomi по настройке. Исправьте health check и базовые URL в редакторах либо передайте --port 8080, чтобы сохранить прежнее соответствие.
Проверка 3: --mmap больше не принимается — используйте режимы загрузки через -lm
Если сборка отвечает на --mmap ошибкой error: invalid argument: --mmap, переходите на документированную замену -lm, --load-mode со значениями auto, none, mmap, mlock, mmap+mlock и dio. Начните с -lm auto, затем проверьте поведение командой llama-cli --help и на типичной для вас загрузке модели.
Проверка 4: clip.h удалён — перенесите vision-код на mtmd
Интеграции для работы с изображениями, использующие clip.h, нужно перевести на объединённый интерфейс mtmd. Согласно примечаниям к релизу, он использует общие вычислительные буферы для нескольких субконтекстов. Перед обновлением vision-пайплайнов изучите замечания для конкретных моделей в разделе релиза о мультимодальности.
Что действительно нового в llama.cpp v1.0
Для локального запуска важнее всего пять нововведений — они перечислены в примечаниях к релизу.
| Возможность | Что она даёт | Кому пригодится |
|---|---|---|
FP8-кэш KV (-ctk/-ctv f8_e4m3) | Уменьшает объём памяти под KV-кэш по сравнению с f16 при длинном контексте | Для чатов с длинным контекстом и RAG при ограниченном объёме VRAM |
Кэш экспертов MoE (moe_cache_size, moe_cache_cpu_share) | Кэширует экспертов с настраиваемым использованием CPU | Для MoE-моделей, которые не помещаются целиком в VRAM |
Совместимые с OpenAI /v1/audio/speech и температура /tts; TTS drama-3 | Добавляет генерацию речи на стороне сервера | Для локальных голосовых приложений без облачного TTS |
Усиление безопасности сервера (опциональные --allow-unauthenticated-tools, --media-allow-private-urls; исправления CORS, DNS rebinding, SSRF и отмены MCP) | Закрывает несколько проблем, связанных с доступом к localhost и выполнением инструментов | Всем, кто привязывает сервер не только к 127.0.0.1 |
Новая поддержка моделей (Kimi-K3.1-Pro, Ripple-65B-Preview — плотная 65B, xing4_0 и новые vision-модели) | Расширяет покрытие GGUF | Пользователям, которые следят за этими релизами |
Установка и запуск OpenAI-совместимого сервера
Ниже используется новая конфигурация по умолчанию: порт 9931, команды llama-cli и llama-server, а также загрузка моделей через -hf. Инструкции основаны на официальной документации по установке и руководстве Axiomi.
1. Установите llama.cpp:
curl -LsSf https://llama.app/install.sh | shТакже можно воспользоваться менеджером пакетов или скачать готовый ZIP со страницы релизов. Проверьте установку командой llama-cli --version. Если оборудование не поддерживается, нужны собственные патчи или ещё не влитые исправления, собирайте проект из исходников.
2. Запустите чат в терминале:
llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192Как объясняется в руководстве Axiomi, -hf кэширует модель с Hugging Face и выбирает Q4_K_M, если суффикс :quant не указан. Параметр --fit on, включённый по умолчанию, подстраивает не заданные вручную значения под доступную память устройства.
3. Поднимите локальный API:
llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192
# open http://127.0.0.1:9931Среди доступных маршрутов — /v1/chat/completions, /v1/responses, /v1/embeddings, /v1/messages и /v1/audio/speech (список маршрутов Axiomi). Быстрая проверка:
curl http://localhost:9931/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain GGUF in one sentence."}]}'В том же руководстве пример для Python использует base_url="http://localhost:9931/v1" и api_key="no-key" для локального запуска одной модели. Для локального использования оставляйте привязку к 127.0.0.1.
v1.0, nightly, обёртки или облачный API: что выбрать
| Вариант | Когда выбирать | О чём помнить |
|---|---|---|
Зафиксировать v1.0.0 | Выпускаете приложение или пишете руководство и нуждаетесь в воспроизводимых сборках | Не получите исправления, добавленные после 13 ноября |
Следить за nightly (b12359+) | Нужна самая свежая поддержка моделей или исправление бэкенда | Флаги и поведение всё ещё могут меняться |
| Ollama / LM Studio | Нужна библиотека или GUI без возни с флагами | Как правило, меньше прямого контроля над слоями, кэшем и параметрами сервера |
| Облачный API | Нужна эластичная инфраструктура или нет желания упираться в лимит локальной VRAM | Практическое правило: платите за токены, а данные покидают компьютер |
Частые вопросы
Стабилен ли v1.0 и продолжит ли работать моя текущая конфигурация?
Гарантия стабильности распространяется на публичный C API, но не на флаги CLI, маршруты сервера и nightly-сборки. Перед обновлением поищите llama_set_warmup, clip.h, --mmap, --defrag-thold и жёстко заданный 8080.
Сколько памяти нужно для модели 8B?
В таблице размеров от Tech Insider указано около 4,9 ГБ для Q4_K_M 8B против 32,1 ГБ без квантования — без учёта контекста и среды выполнения. В качестве практического правила измеряйте показатели на своей машине с помощью llama-bench: результаты CPU для небольших моделей нельзя напрямую переносить на другие конфигурации.
Для всего, что выпускаете, фиксируйте v1.0
Зафиксируйте тег в CI, оставьте одну машину на nightly-сборках и перед обновлением заново протестируйте обёртки с сервером, закреплённым на стабильной версии.