DeepInfer H100 Desteği: Resmi Liste Ne Anlama Geliyor?

H100 ve RTX ekipleri için kısa yanıt

DeepInfer’in H100 desteği resmi olarak duyurulmuş veya belgelenmiş değil. RTX desteği de resmi belgelerde yer almıyor. Mevcut sürüm DeepSeek-V4.1-Flash modelini hedefliyor ve CUDA 13 kullanan NVIDIA SM100 donanımını ya da CANN 9.2 kullanan Ascend 950’yi listeliyor. Depo ayrıca Linux, GCC 13 veya üzeri ve Python 3.12 gerektiriyor (resmi DeepInfer deposu).

Bir donanımın listede yer almaması, deneysel bir yamanın hiçbir koşulda derlenemeyeceği anlamına gelmez. Ancak satın alma ve üretim planlaması açısından bu, destek verilmediği şeklinde değerlendirilmelidir.

DeepInfer bugün resmi olarak neleri destekliyor?

Destek sınırı yalnızca “NVIDIA GPU” veya “DeepSeek modeli” gibi genel ifadelerden ibaret değil. Belirli bir hızlandırıcı nesli, yazılım yığını ve model yolu gerekiyor.

DeepSeek’in dağıtım SSS belgesi, ölçek büyütme alanında prefill için 4 SM100 GPU, decode içinse 64 SM100 GPU kullanılan benchmark topolojilerini paylaşıyor. Bunlar SM100 ölçümleri; H100 için kapasite tahmini değiller.

SM100 neden otomatik olarak H100 veya RTX anlamına gelmiyor?

DeepInfer’in resmi destek listesinde H100, SM90 veya herhangi bir RTX modeli yer almıyor. CUDA uyumluluğu tek başına DeepInfer uyumluluğunu kanıtlamaz.

Depo; FlashMLA, DeepGEMM, DeepEP ve TileLang operasyonları gibi mimariye duyarlı bileşenleri entegre ediyor (proje belgeleri). Tanınan bir GPU hedefi derlemeyi başarsa bile çalışma zamanında hata verebilir, yanlış sonuç üretebilir veya geçişin hedeflediği performans kazanımını sağlayamayabilir.

Bu nedenle şu üç iddiayı birbirinden ayırmak gerekiyor:

1. Kodun belirli bir mimari için derlenebilmesi.
2. Modelin doğru çıktılar ve kararlı dağıtık davranışla çalışması.
3. Dağıtımın kullanılabilir gecikme ve aktarım hızıyla doğrulanması.

Başarılı bir derleme yalnızca ilk iddiayı kanıtlar. DeepInfer’in herkese açık materyallerinde H100 veya RTX benchmark’ı, resmi bir SM90 derleme tarifi ya da doğrulanmış bir tüketici RTX yapılandırması bulunmuyor.

Mevcut altyapı için geçiş seçenekleri

Kümenizde H100 veya başka bir Hopper sistemi varsa

Sırf DeepInfer’i denemek için çalışan H100 servis altyapınızı değiştirmeyin. Bu çalışmayı desteklenen bir dağıtım olarak değil, deneysel bir port projesi olarak ele alın.

Makul bir geçiş planı şöyle olabilir:

1. Üretimdeki model sunucusunu değiştirmeden çalışır durumda tutun.
2. DeepInfer, CUDA, sürücü, derleyici ve model sürümlerini sabitleyen izole bir dal oluşturun.
3. Derleme öncesinde mimariye özel bağımlılıkların envanterini çıkarın.
4. Sonuçları güvenilir olduğu bilinen bir çalışma zamanıyla karşılaştıran sayısal testler çalıştırın.
5. Prefill gecikmesini, decode gecikmesini, eşzamanlılık düzeyini, bellek kullanımını ve hata sonrası toparlanmayı ölçün.
6. Portu ancak ekibiniz için önemli olan iş yükünde iyileşme sağlıyorsa üretime taşımayı düşünün.

Pratik alternatif, H100 yapılandırmanızı açıkça belgeleyen bir servis çalışma zamanını değerlendirmek. Bunun için vLLM, SGLang veya TensorRT-LLM seçeneklerine bakabilirsiniz. Seçimi DeepInfer’in SM100 sayılarına göre değil; kullandığınız DeepSeek checkpoint’ine, quantization tercihine, API özelliklerine ve ihtiyaç duyduğunuz dağıtık topolojiye göre yapın.

Ekibinizde RTX iş istasyonları veya RTX sunucuları varsa

Resmi DeepInfer listesinde hiçbir RTX modeli yer almıyor. Belgelenen benchmark topolojisi büyük ölçekli çıkarımı hedefliyor; bu nedenle tek bir RTX kartını veya küçük bir RTX havuzunu, 4 GPU’lu prefill ya da 64 GPU’lu decode yapılandırmalarının düşük maliyetli karşılığı olarak görmemek gerekir.

Hedefiniz geliştirme, değerlendirme veya daha küçük bir kendi sunucunuzda barındırılan uç noktaysa genel amaçlı bir yerel çıkarım çalışma zamanı kullanın. Gelecekte mimariye özel bir port gelebileceği için DeepInfer’i takip listenizde tutabilirsiniz; ancak birleşmemiş bir issue ya da forum paylaşımını temel alarak bütçe planlamayın.

SM100 veya Ascend 950’ye erişiminiz varsa

Mevcut resmi matrise uyan tek yol bu. Ancak bu senaryoda bile DeepInfer eksiksiz bir çevrimiçi API servisi değil: resmi dağıtım notlarında kalıcı KV cache, prefill/decode orkestrasyonu ve replika yük dengeleme gibi üretim bileşenlerinin eksik olduğu belirtiliyor.

Bu nedenle DeepInfer; motoru incelemek veya benchmark’larını çalıştırmak isteyen, gerekli hızlandırıcı topolojisine sahip ve çevresindeki platformu kendisi oluşturabilecek ekipler için daha uygun. Birden fazla modeli sunan bir API ağ geçidi için otomatik olarak en iyi seçenek değil.

GPU dışındaki dağıtım kısıtları

Donanım desteği, geçiş kararındaki tek kriter değil. Herkese açık sürüm, tamamlanmış bir OpenAI uyumlu sunucu olarak değil, çevrimdışı çıkarım çözümü olarak tanımlanıyor. Eksik bileşenler mimari kararları doğrudan etkiliyor:

Ayrı bir proje olan deepseek-recipe, Messages, Chat Completions ve Responses formatları arasında dönüşüm yapıyor; ancak çıkarımı çalıştırmıyor ve eksiksiz bir üretim servisi sunmuyor.

Donanımı değiştirmeden önce doğrulama listesi

DeepInfer geçişini onaylamadan önce aşağıdaki maddelerin her biri için kanıt isteyin:

1. Resmi mimari ve derleme desteği: Kullandığınız GPU tam olarak listeleniyor mu ve sabitlenmiş ortam temiz bir makinede yeniden kurulabiliyor mu?
2. Kernel ve doğruluk kapsamı: Attention, GEMM ve expert-parallel kernel’ları aynı çıktıları, yapılandırılmış yanıtları ve uzun bağlam davranışını üretebiliyor mu?
3. Dağıtık performans: Hedeflenen GPU sayısı ve ara bağlantı topolojisi, eşzamanlılık ve bellek hedefleriniz altında kararlı kalıyor mu?
4. Servis bütünlüğü: KV cache, yönlendirme, kimlik doğrulama, HTTP aktarımı ve replika dengeleme hangi bileşenlerden sağlanacak?

İlk sorunun yanıtı “hayır” ise projeyi deneysel olarak etiketleyin. Servisle ilgili soruların yanıtı “harici” ise bu mühendislik çalışmasını geçiş maliyetine mutlaka dahil edin.

DeepInfer H100 desteği hakkında sık sorulanlar

DeepInfer bir NVIDIA H100 üzerinde çalışabilir mi?

H100 desteği resmi olarak belgelenmiş değil. Mevcut NVIDIA destek girdisi SM100. Deneysel bir port mümkün olabilir; ancak atıf yapılan materyallerde resmi bir H100 derleme tarifi veya doğrulanmış H100 benchmark’ı bulunmuyor.

DeepInfer RTX 4090, 5090 veya diğer RTX kartlarını destekliyor mu?

RTX desteği resmi olarak listelenmiyor. Atıf yapılan resmi materyallerde doğrulanmış bir RTX yapılandırması bulunmuyor. Üst proje ilgili mimariyi belgeleyip kernel’larını doğrulayıncaya kadar RTX dağıtımını desteklenmiyor kabul edin.

H100 kullanan bir ekip bunun yerine ne kullanmalı?

H100 desteğini açıkça sunan bir çalışma zamanını kullanmaya devam edin veya değerlendirin; ardından kendi checkpoint’iniz ve trafik modeliniz üzerinde karşılaştırma yapın. vLLM, SGLang ve TensorRT-LLM pratik başlangıç noktaları olabilir. DeepInfer’i ise gelecekte port edilecek bir hedef ya da SM100 altyapısını değerlendirmek için bir gerekçe olarak görmek daha doğru.

Belirli mimari, kernel’lar, servis katmanı ve iş yükü sonuçları belgelenene kadar H100 veya RTX portunu deneysel kabul edin.