AIREITERDeepSeek DeepInfer, Apache-2.0 lisansıyla gerçekten açık kaynak olarak sunuluyor. Ancak hazır bir servis ürünü değil. İlk sürüm, NVIDIA SM100 veya Huawei Ascend 950 donanımı üzerinde DeepSeek-V4.1-Flash çalıştırmaya odaklanıyor ve eksiksiz bir çevrimiçi servis yığını yerine çevrimdışı çıkarım senaryolarını belgeliyor.
DeepInfer tek cümlede ne?
DeepInfer, DeepSeek-V4.1-Flash için geliştirilmiş özel bir çıkarım motoru; bir model ya da barındırılan API değil. Resmî depo, rastgele modelleri çalıştıran genel amaçlı bir sunucudan çok, büyük ölçekli çıkarım için temel özellikler sunan bir motora işaret ediyor.
Resmî duyuru ve depo dokümanları, sürüm tarihini 20 Ekim 2026 olarak veriyor. Motor Apache-2.0 lisansını kullanıyor. Desteklenen donanım, çevrimdışı çalışma kapsamı ve sunulmayan servis bileşenleri açısından başvurulması gereken kaynak, deponun dağıtım notları.
Lisans açık, ancak servis ürünü henüz tamamlanmış değil
Apache-2.0 lisansı, dağıtım sorusunu değil lisans sorusunu yanıtlıyor. Genel kullanıma açılan sürüm bir çıkarım motoru ve örnekler içeriyor. Buna karşılık dağıtım soru-cevap dokümanı, kamuya açık sürümün DeepSeek’in eksiksiz dahili servisinden daha dar bir kapsamda kaldığını açıkça gösteriyor.
| Yetenek | İlk DeepInfer sürümünde var mı? | Bu ne anlama geliyor? |
|---|---|---|
| DeepSeek-V4.1-Flash çevrimdışı çıkarımı | Evet | Belgelenen başlangıç noktası toplu/çevrimdışı çalıştırma |
| Apache-2.0 motor lisansı | Evet | Lisans koşulları çerçevesinde incelenebilir ve yeniden kullanılabilir |
| OpenAI uyumlu çevrimiçi sunucu | Belgelenmemiş | HTTP ve protokol katmanını sizin sağlamanız gerekiyor |
| Dağıtık KV önbelleği sistemi | Genel kullanıma açık sürümde belgelenmemiş | Paylaşımlı önbellek katmanı bir dağıtım servisi olarak sunulmuyor |
| Prefill/decode ayrıştırması | Genel kullanıma açık sürümde belgelenmemiş | Aşamaların ayrılması ve veri aktarımı dışarıda çözülmeli |
| Replikalar arasında yük dengeleme | Genel kullanıma açık sürümde belgelenmemiş | Replikalar arasındaki yönlendirme dışarıda çözülmeli |
| Geniş model desteği | Hayır | İncelenen sürüm tek bir DeepSeek modelini hedefliyor |
İlk sürüm pratikte neler yapabiliyor?
DeepInfer, özel çıkarım senaryoları için DeepSeek’e özgü kernel’ları ve zamanlama özelliklerini bir araya getiriyor.
Model, donanım ve derleme gereksinimleri
Deponun belgelediği gereksinimler Linux, Python 3.12, GCC 13 veya daha yeni bir sürüm, CUDA 13 kullanan NVIDIA SM100 ya da CANN 9.2 kullanan Huawei Ascend 950. Desteklenen model DeepSeek-V4.1-Flash; varsayılan checkpoint olarak DeepSeek-V4.1-Flash-1017 kullanılıyor.
H100, tüketici sınıfı RTX kartları, AMD, Apple Silicon ve Windows desteği, incelenen sürümün dokümanlarıyla doğrulanmış değil. Ekiplerin yayımlanan hızlandırıcı listesini bir öneri olarak değil, ilk geçiş koşulu olarak değerlendirmesi gerekiyor.
Motorun öne çıkan özellikleri
- DSpark spekülatif çözümleme: Motor taslak token’lar üretiyor; güven skorları da ne kadar doğrulama yapılmasının anlamlı olduğunu belirliyor. Depo, taslak uzunluğu için en fazla 5 token değerini belgeliyor.
- SWA sınırlı yeniden oynatma: Önbellek isabetinden sonra motor, tüm bağlamı yeniden hesaplamak yerine sınırlı bir son bölümü tekrar işleyebiliyor. Belgelenen örnekte 140 token’lık bir keep ayarı kullanılıyor. Bu bir optimizasyon; dağıtık KV önbelleği servisinin alternatifi değil.
- Paralellik ve yük dengeleme: Attention veri paralelliği, context paralelliği, mixture-of-experts expert paralelliği ve expert-parallel yük dengeleme, motor tasarımının parçası.
- Asenkron zamanlama: CPU tarafındaki batch hazırlığı, cihaz üzerindeki çalışmayla çakışmalı olarak yürütülebiliyor.
- Tekrarlanabilirlik kontrolleri: Dokümantasyon, yalnızca NVIDIA için batch-invariant çıkarım ve deterministik örneklemeyi açıklıyor.
- Yapılandırılmış çıktı: Üretim katmanında regex, JSON Schema ve EBNF kısıtları destekleniyor.
Donanım ve benchmark gerçeği
Resmî benchmark kurulumu, “erişilebilir” ifadesinin ne anlama geldiğini değiştirecek kadar pahalı. DeepInfer README dosyası, prefill için dört NVIDIA SM100 GPU, decode içinse 64 NVIDIA SM100 GPU kullanıldığını bildiriyor. Bunlar çoğu okuyucunun iş istasyonunda tekrarlayabileceği sonuçlar değil, özel donanımla gerçekleştirilen testler.
| Aşama | Sürüm materyallerinde bildirilen resmî kurulum | Raporlanan ölçüm türü |
|---|---|---|
| Prefill | 4 × NVIDIA SM100 | Önbelleksiz girdi throughput’u ve adım gecikmesi |
| Decode | 64 × NVIDIA SM100 | Toplam çıktı throughput’u ve kullanıcı başına hız |
| Atıf yapılan grafiklerdeki bağlam | 131,072 token | Her bağlam uzunluğundaki performansı kanıtlamıyor |
| Karşılaştırma | DeepInfer’ın kendi eğrileri | Kontrollü bir vLLM/SGLang karşılaştırmalı sonucu yok |
Sürüm; token başına maliyeti, uçtan uca istek gecikmesini ya da vLLM veya SGLang karşısındaki üstünlüğü ortaya koymuyor. Sağlıklı bir değerlendirme için yalnızca manşet grafiğine bakmak yerine hedeflenen iş yükünü baştan sona yeniden üretmek gerekiyor.
Dağıtım işine göre DeepInfer, vLLM ve SGLang
Asıl karşılaştırılması gereken nokta operasyonel kapsam. Desteklenen DeepSeek modeli ve hızlandırıcılar söz konusuysa DeepInfer özel amaçlı seçenek. Model çeşitliliği ve eksiksiz servis özellikleri önemliyse vLLM ile SGLang daha güvenli başlangıç noktaları.
| Dağıtım işi | Daha iyi başlangıç noktası | Nedeni |
|---|---|---|
| DeepSeek’e özel kernel’ları ve zamanlama mekanizmalarını incelemek | DeepInfer | DeepSeek-V4.1-Flash için üretimden türetilmiş uygulama |
| Birden fazla açık modeli tek API arkasında çalıştırmak | vLLM veya SGLang | Daha geniş belgelenmiş kapsam |
| OpenAI uyumlu bir servisi hızlıca başlatmak | vLLM veya SGLang | DeepInfer eksiksiz bir çevrimiçi sunucu belgelemiyor |
| NVIDIA üzerinde deterministik veya batch-invariant davranışı değerlendirmek | DeepInfer | Bu kontroller belgelenmiş özellikler arasında |
| Sıradan iş istasyonu ya da eski veri merkezi donanımı kullanmak | vLLM veya SGLang | DeepInfer’ın hedeflediği hızlandırıcılar daha sınırlı |
| Hız avantajını kanıtlamak | Tüm adayları benchmark’tan geçirmek | DeepInfer grafiklerinde bire bir karşılaştırmalı sonuç sunulmuyor |
Pratik kullanım öncesi kontrol listesi
- Önce hızlandırıcıyı doğrulayın. Dağıtım SM100 veya Ascend 950 donanımı üzerinde değilse derleme betiğiyle başlamayın.
- Modeli doğrulayın. İncelenen sürüm DeepSeek-V4.1-Flash’ı hedefliyor. Birden fazla model sunan servis için başka bir motor yaklaşımı ya da ek bir servis katmanı gerekiyor.
- Çevrimdışı ve çevrimiçi gereksinimleri ayırın. Çevrimdışı değerlendirme ve sentetik üretim, müşteriye açık bir API’den daha basit senaryolar.
- Eksik servisleri listeleyin. HTTP yönetimi, kimlik doğrulama, kota, gözlemlenebilirlik, yönlendirme, replikalar arası dengeleme ve KV önbelleği tasarımı için bütçe ayırın.
- Kendi trafiğinizle benchmark yapın. İstem uzunluğunu, eşzamanlılığı, önbellek isabet oranını, çıktı uzunluğunu, ilk token’a kadar geçen süreyi, token’lar arası gecikmeyi ve throughput’u kaydedin.
- Çıktı kararlılığını test edin. Tekrarlanabilirlik önemliyse NVIDIA’ya özel batch-invariant ve deterministik ayarları, kullandığınız örnekleme yapılandırmasıyla doğrulayın.
- Deponun olgunluğunu takip edin. İlk genel sürüm, issue’ların, yeni sürümlerin ve donanım desteğinin izlenmesini gerektirir.
Gerekli hızlandırıcı kümesine sahip bir platform ekibi için DeepInfer, doğrudan geçiş kararı değil, kontrollü bir pilot için değerlendirilmeye değer. Diğer geliştiriciler önce depoyu ve dağıtım soru-cevap dokümanını incelemeli; ardından donanım ve API gereksinimlerine uyan bir servis sistemi seçmeli.
DeepInfer SSS
DeepInfer tamamen açık kaynak mı?
Motor herkese açık ve Apache-2.0 lisansına sahip. Ancak bu, DeepSeek’in dahili servisinde kullanılan her bileşenin dahil olduğu anlamına gelmiyor; kamuya açık sürümün motor sınırları daha dar.
64 GPU’lu bir decode kümesi olmadan DeepInfer işe yarar mı?
Gerekli donanım mevcutsa kodu incelemek ve desteklenen çevrimdışı deneyleri yürütmek için kullanılabilir. Ancak yayımlanan büyük ölçekli servisi küçük, sıradan bir sunucuda yeniden üretmenin yolu olarak görülmemeli.
Desteklenmeyen donanım için pratik seçim nedir?
Hızlandırıcıyı ve iş yükünü destekleyen bir servis motoru kullanın; vLLM veya SGLang bunun için uygun seçenekler. DeepInfer, tüketici GPU’ları, eski veri merkezi kartları ya da hızlıca OpenAI uyumlu bir uç nokta açmak için doğrudan kullanılabilecek bir çözüm varsayılmamalı.