llama.cpp v1.0 Rehberi: Neler Değişti, Nasıl Güncellenir?

13 Kasım 2026'da yayımlanan llama.cpp v1.0.0, semver kurallarına göre yönetilen ilk kararlı sürüm. Bundan böyle herkese açık C API'sindeki geriye dönük uyumsuz değişiklikler için ana sürüm numarasının artırılması gerekiyor. GitHub'da etiket Latest olarak işaretlenmiş durumda. Sürüm notları ise bu sürümü API temizliği ve uyumluluk odaklı bir güncelleme olarak tanımlıyor; API kaldırmaları, yeni önbellekler ve genişletilmiş model desteği öne çıkıyor.

v1.0 Bir Hız Sıçraması Değil, Sürüm Garantisi

Sürüm notlarının API değişiklikleri bölümündeki uyumluluk taahhüdü, llama.h içindeki herkese açık C API'siyle sınırlı. CLI seçeneklerini, sunucu rotalarını ve nightly sürümlerdeki davranışları hâlâ değişebilecek bileşenler olarak değerlendirin. Tekrarlanabilir derlemeler için v1.0.0 etiketini sabitleyin; daha yeni düzeltmelere ihtiyacınız varsa commit bazlı nightly sürümlerden yararlanın. Sürüm sayfasında v1.0.0 ile birlikte nightly b12359 da listeleniyor.

"Bu, uygulamaların upstream'e gerçekten güvenebilmesi için CLI parametrelerini her sürümde değiştirmek yerine artık sabitleyecekleri anlamına mı geliyor?" — u/halvacoffee, r/LocalLLaMA

Önce Yükseltme Kontrolü: Eski Script ve Entegrasyonlar İçin 4 Nokta

Bu uyumluluk değişiklikleri en çok eski kurulumları etkiliyor. Önce şu aramayla başlayın:

grep -rn "llama_set_warmup\|clip\.h\|--mmap\|--no-mmap\|--defrag-thold\|:8080\|localhost:8080" .

1. Kontrol: Kaldırılan C işlevleri — binding'leri güncelleyin

Sürüm notlarına göre v1.0, llama.h içindeki 35 kullanımdan kaldırılmış işlevi siliyor; bunların arasında llama_set_warmup da var. Ayrıca defrag_thold alanı ile --defrag-thold seçeneği kaldırılıyor. Bir sembolün adı llama_set_embd_state_src'den llama_set_ctx_state_src'e değiştiriliyor ve NextN API'si llama.h içine taşınıyor. Kaldırılan tüm işlevlerin listesi yukarıda bağlantısı verilen sürüm günlüğünde yer alıyor.

2. Kontrol: Sunucu portu 8080 → 9931 — URL'leri güncelleyin

llama-server artık varsayılan olarak http://127.0.0.1:9931 adresini kullanıyor. Axiomi kurulum rehberinde de belirtildiği gibi, eski örneklerin çoğu 8080 portunu varsayıyor. Sağlık kontrollerini ve editörlerdeki temel URL'leri güncelleyin; eski eşlemeyi korumak isterseniz --port 8080 parametresini kullanabilirsiniz.

3. Kontrol: --mmap artık kabul edilmiyor — -lm yükleme modlarına geçin

Derlemeniz --mmap seçeneğini error: invalid argument: --mmap hatasıyla reddediyorsa, belgelenen -lm, --load-mode alternatifine geçin. Kullanılabilen modlar şunlar: auto, none, mmap, mlock, mmap+mlock ve dio. Önce -lm auto ile başlayın; ardından llama-cli --help ve temsili bir yükleme testiyle davranışı doğrulayın.

4. Kontrol: clip.h kaldırıldı — görüntü kodunu mtmd'ye taşıyın

clip.h kullanan görüntü entegrasyonlarının, birleştirilmiş mtmd yapısına geçirilmesi gerekiyor. Sürüm notlarına göre mtmd, alt bağlamlar arasında hesaplama arabelleklerini ortak kullanıyor. Görüntü işleme hatlarını yükseltmeden önce model bazındaki notlar için sürüm notlarının çok modluluk bölümüne bakın.

llama.cpp v1.0 ile Gerçekte Neler Yeni?

Sürüm notlarına göre yerel çalıştırmalar açısından en önemli beş yenilik şöyle:

OpenAI Uyumlu Sunucuya Kurulum

Bu adımlar, resmî kurulum belgelerindeki ve Axiomi kurulum rehberindeki yeni varsayılanları kullanıyor: 9931 portu, llama-cli / llama-server komutları ve -hf ile indirme.

1. Kurulum:

curl -LsSf https://llama.app/install.sh | sh

Alternatif olarak bir paket yöneticisi kullanabilir veya sürümler sayfasındaki hazır ZIP paketlerinden birini indirebilirsiniz. llama-cli --version komutuyla kurulumu doğrulayın. Desteklenmeyen donanımlar, özel yamalar veya henüz birleştirilmemiş düzeltmeler için kaynak koddan derleme yapın.

2. Terminalde sohbet:

llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192

Axiomi rehberine göre -hf, Hugging Face önbelleğini kullanıyor. :quant son eki verilmediğinde Q4_K_M seçiliyor; varsayılan --fit on ayarı da belirtilmemiş değerleri cihaz belleğine sığacak şekilde düzenliyor.

3. Yerel API sunma:

llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF -c 8192
# open http://127.0.0.1:9931

Desteklenen rotalar arasında /v1/chat/completions, /v1/responses, /v1/embeddings, /v1/messages ve /v1/audio/speech bulunuyor (Axiomi rota listesi). Basit bir bağlantı testi için:

curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain GGUF in one sentence."}]}'

Aynı rehberdeki Python örneği, tek model sunumu için api_key="no-key" ile birlikte base_url="http://localhost:9931/v1" kullanıyor. Yerel kullanımda 127.0.0.1 adresinde kalın.

v1.0 mı, Nightly mi, Wrapper mı, Hosted API mi?

Sık Sorulan Sorular

v1.0 kararlı mı, mevcut kurulumum çalışmaya devam eder mi?

Kararlılık taahhüdü herkese açık C API'si için geçerli; CLI seçenekleri, sunucu rotaları ve nightly sürümler için geçerli değil. Yükseltmeden önce llama_set_warmup, clip.h, --mmap, --defrag-thold ve sabit kodlanmış 8080 kullanımlarını arayın.

8B bir model ne kadar bellek ister?

Tech Insider'ın boyut tablosu, 8B Q4_K_M için yaklaşık 4.9 GB, quantize edilmemiş model içinse 32.1 GB gösteriyor; bu değerler bağlam ve çalışma zamanı tüketimini içermiyor. Genel bir referans olarak, küçük model CPU sonuçları sistemden sisteme değişebileceği için kendi makinenizde llama-bench ile ölçüm yapın.

Yayımladığınız Her Şeyde v1.0'ı Sabitleyin

CI ortamında etiketi sabitleyin, bir makineyi nightly sürümlerde tutun ve wrapper'ları yükseltmeden önce sabitlenmiş sunucuya karşı yeniden test edin.