OpenRouter Batch API Fiyatlandırması: %50 İndirim Beklemeye Değer mi?

API ücretinin yarıya inmesi kulağa hoş gelir; ta ki sonuç son teslim tarihinden sonra gelene kadar. OpenRouter’ın Batch API’si çevrimdışı metin ve embedding işleri için iyi bir seçenek, ancak etkileşimli çağrılar için değil. İstekler asenkron çalışıyor, tamamlanma penceresi 24 saat ve öne çıkan indirim her ücret kalemine aynı şekilde uygulanmıyor.

Tek cümlelik karar

Etiketleme, değerlendirme, embedding, birikmiş içeriklerin özetlenmesi ve bekleyebilecek diğer kalıcı işler için OpenRouter Batch API’yi kullanın. Kullanıcıya doğrudan yanıt veren sohbet, IDE ajanları, web araması kullanan akışlar ve multimodal istekler ise senkron API’de kalmalı.

OpenRouter, Batch’in 70’ten fazla modelde token başına fiyatı genellikle yaklaşık %50 düşürdüğünü söylüyor. Resmî tamamlanma penceresi 24 saat. OpenRouter, lansman duyurusunda beta döneminde medyan sürenin 7 dakika olduğunu ve işlemlerin %90’ının bir saat içinde tamamlandığını bildirmişti. Ancak bunlar bir SLA değil, gözlemlenen değerler (resmî duyuru).

%50 indirim gerçekte hangi kalemleri kapsıyor?

İndirim esas olarak model token fiyatlarına uygulanıyor. Çıkarım faturasındaki her bileşen için geçerli, genel bir indirim söz konusu değil.

Will Cygan’ın batching maliyeti incelemesi, 10 milyon girdi ve 2 milyon çıktı token’ı için Claude Sonnet 5 örneğinde senkron maliyetin $40’tan batch tarafında $20’ye düştüğünü gösteriyor. Bu, modele özel bir hesaplama; tüm modeller için geçerli evrensel bir fiyat değil.

“Batch rotasında ücret, senkron tarifesinin tam yarısı.” — Will Cygan, Batching (LLM Inference)

Sağlayıcıyı ve modeli kontrol etmeden tasarrufu bütçenize yazmayın. Gerçek kullanıcı @fogelmania, beta dönemindeki bir modelin batch trafiği farklı bir sağlayıcıya yönlendiği için eşzamanlı senkron çağrılardan daha pahalıya geldiğini bildirdi: @fogelmania’nın paylaşımı. Bu rapor, tamamlanan işlemin maliyetini incelemek gerektiğini gösteren bir uyarı; her modelin aynı şekilde davrandığının kanıtı değil.

Batch, daha hızlı bir endpoint değil; bir iş akışıdır

OpenRouter’ın Batch API duyurusu ve hızlı başlangıç kılavuzu, anında sonuç döndüren bir endpoint yerine iş tabanlı bir akışı anlatıyor. Başarılı bir gönderim, HTTP 202 Accepted yanıtı ve validating durumunda bir batch ID döndürüyor. Normal yaşam döngüsü şöyle:

validating → in_progress → finalizing → completed

Diğer terminal durumlar failed, expired ve cancelled. Worker’ınız batch ID’sini kalıcı olarak saklamalı ve terminal duruma ulaşana kadar sorgulama yapmalı; etkileşimli bir isteği açık tutmamalı.

OpenRouter, beta döneminde 230.000’den fazla batch çalıştırıldığını; medyan sürenin 7 dakika, işlemlerin %90’ının ise bir saat içinde tamamlandığını bildirdi. @luismmolina’nın kullanıcı testi de lansman gününün bir noktasında 5–8 dakikalık süreler raporladı (test paylaşımı). Ancak bu gözlemler, planlama açısından esas alınması gereken 24 saatlik sınırın yerini tutmuyor.

Yeniden iş çıkarmayan uygulama modeli

Güncel hızlı başlangıç kılavuzu, JSONL dosyası yüklemek yerine doğrudan JSON içindeki requests dizisini kullanıyor. Her satırın benzersiz bir custom_id değeri olmalı; bu ID, tamamlanan yanıtı veya hatayı kaynak kayda bağlamanızı sağlıyor.

En basit istek yapısı şöyle:

{
  "endpoint": "/v1/chat/completions",
  "model": "openai/gpt-4o",
  "requests": [
    {
      "custom_id": "ticket-0001",
      "body": {
        "messages": [
          {"role": "user", "content": "Classify this ticket: ..."}
        ]
      }
    }
  ]
}

Hızlı başlangıç kılavuzunda POST https://openrouter.ai/api/beta/batches endpoint’i kullanılıyor. Üst düzey endpoint ve model tüm batch için ortak olduğundan, farklı API biçimleri veya modeller için ayrı batch’ler oluşturmanız gerekir. Desteklenen biçimler arasında Chat Completions, Responses, Anthropic Messages ve Embeddings bulunuyor.

Gönderimden sonra GET https://openrouter.ai/api/beta/batches/:id ile durumu sorgulayın. Tamamlanan bir batch sonuçları satır içinde döndürüyor. Her sonuçta ya bir response ya da bir error bulunuyor; request_counts ise toplam, tamamlanan ve başarısız satırları birbirinden ayırıyor. Hatalı satırları kendi custom_id değerleriyle yeniden deneyin; tüm batch’i otomatik olarak baştan oynatmayın.

Veri politikası, BYOK veya URL varlıkları açısından sağlayıcı davranışı önemliyse en ucuz sağlayıcı yönlendirmesine güvenmek yerine belgelenen sağlayıcı kontrolleriyle sağlayıcıyı sabitleyin. Dağıtıma geçmeden önce seçtiğiniz model ve sağlayıcının batch için uygun bir rota sunduğunu doğrulayın.

Batch hangi durumlarda iş akışını bozuyor?

Hızlı başlangıç kılavuzundaki sınırlamalar, Batch’in metin odaklı bir akış olduğunu gösteriyor. Batch isteklerinde görsel, ses, video ve dosya içerik parçaları reddediliyor. Base64 ve data: URI varlıkları da kabul edilmiyor; desteklenen URL varlıkları sağlayıcıya göre değişiyor. OpenRouter’ın kendi web arama eklentisi Batch’te kullanılamıyor.

Kullanıcı bekliyorsa, modelin yerel bir yüklemeyi incelemesi gerekiyorsa, istekte ses veya video varsa ya da uygulama saniyeler seviyesinde bir yanıt süresi hedefliyorsa senkron API’yi kullanın.

Maliyet örneği: tasarruf ne zaman gerçekten tasarruftur?

Her biri 1.000 girdi ve 200 çıktı token’ı kullanan 10.000 destek talebini düşünelim. Toplamda 10 milyon girdi ve 2 milyon çıktı token’ı eder.

Bu örnekte nominal tasarruf işlem başına $20; haftada bir çalıştırıldığında yıllık $1,040. Ancak kurtarma, izleme veya acil senkron yedek akışının maliyeti nominal farkı aştığında gerçek tasarruf azalır.

Karar verirken bu payı hesaba katın. Son teslim tarihi kesin ise 24 saatlik pencereyi, kapsamı daraltılmış bir yeniden çalıştırma veya senkron yedek akış için kalan süreyle karşılaştırın. Token başına daha ucuz olduğu hâlde son teslim tarihinden sonra kullanılamayan bir batch, o iş süreci açısından gerçekten daha ucuz değildir.

Sık sorulanlar

OpenRouter Batch API her zaman yarı fiyatına mı çalışır?

Hayır. OpenRouter indirimin tipik olduğunu ve modele göre değişebileceğini belirtiyor. Web araması ücretleri standart tarifeden kesiliyor, önbellekleme modele göre değişiyor ve BYOK tarafında sağlayıcı çıkarım maliyetleri OpenRouter ücretlerinden ayrı tutuluyor.

OpenRouter batch ne kadar sürer?

Desteklenen tamamlanma penceresi 24 saat. Beta dönemindeki süre raporları fikir vermesi açısından yararlı, ancak garantili bir hizmet seviyesi değil.

JSONL yükleyebilir veya modelleri karıştırabilir miyim?

Hızlı başlangıç kılavuzu, JSON içindeki requests dizisini kabul ediyor. Model ve API biçimi tüm batch için ortak olduğundan, farklı modeller veya endpoint biçimleri için ayrı batch’ler gerekir.

Yalnızca başarısız satırları yeniden deneyebilir miyim?

Evet. Tamamlanan bir batch satır düzeyinde hatalar döndürdüğünde, her satırın custom_id değerini kullanarak daha küçük bir yeniden deneme batch’i oluşturabilirsiniz. Batch düzeyindeki başarısızlık, sürenin dolması veya iptal durumlarını ayrı ele alın; bu durumlarda sonuçlar kullanılamayabilir.

Batch mi, senkron API mi kullanmalıyım?

Acil olmayan arka plan işleri için Batch’i seçin. Sonucun aktif bir kullanıcı etkileşiminin parçası olduğu veya desteklenmeyen modalitelere ve araçlara ihtiyaç duyduğu durumlarda senkron çıkarımı tercih edin.

Pratik karar: Batch’i seçerek kullanın

Bir iş yükünü taşımadan önce şu beş noktayı kontrol edin:

1. Model sayfası uygun bir batch rotasını ve beklenen sağlayıcıyı gösteriyor.
2. İş süreci, 24 saatlik pencerenin tamamını tolere edebiliyor.
3. Her satırda kararlı bir custom_id ve yeniden deneme planı bulunuyor.
4. Uygulama tamamlanan gerçek kullanım ve maliyeti kaydediyor.
5. Girdi ve sonuçların bir sahibi ile temizleme politikası tanımlı.

OpenRouter’ın hızlı başlangıç kılavuzu, batch girdileri ve sonuçlarının daha erken silinmedikçe 30 gün boyunca saklandığını söylüyor. Artıklara artık ihtiyaç kalmadığında terminal durumdaki batch’leri silin.

İlk geçiş için en doğru aday, dondurulmuş ve gözden geçirilebilir bir veri kümesidir. Geç gelen bir yanıtın, token indiriminden elde edilen tasarruftan daha pahalıya mal olabileceği müşteri-facing bir akışı doğrudan taşımak yerine bunu tercih edin.