Open ASR Leaderboard: Hindi ve Hint İngilizcesi için Monsoon güncellemesi

Bir leaderboard, iki konuşma tanıma modelinin neredeyse berabere kaldığını gösterebilir. Monsoon ise asıl önemli soruyu da gündeme getiriyor: Hangi konuşmacılar, bölgeler, cihazlar ve yazım kuralları için berabere? Yeni en-IN ve hi-IN değerlendirme setleri, Open ASR Leaderboard'ı çok dilli ASR değerlendirmesi için daha kullanışlı hale getiriyor. Ancak kamuya açık kısa kayıtların sonuçlarını yorumlarken hâlâ dikkatli olmak gerekiyor.

Kısa cevap: Monsoon, leaderboard'ın açıklayabildiği şeyleri genişletiyor

Open ASR Leaderboard artık iki Voice Arena değerlendirme seti içeriyor: Hint İngilizcesi için Monsoon en-IN ve Hindi için Monsoon hi-IN. Hint İngilizcesi ana leaderboard sütunlarında yer alıyor ve manşet niteliğindeki Average WER değerine katkı sağlıyor. Hindi ise çok dilli değerlendirme görünümünde bulunuyor. Bir modelin çok dilli sıralamaya girebilmesi için seçilen dillerin tamamını desteklemesi gerekiyor.

Dört açık ve özel bölümde toplam 4.888 konuşmacı bulunuyor; bu konuşmacılar birbirinden bağımsız ve veri setlerinde tekrar kullanılmıyor. Ayrıca demografi, arka plan, coğrafya ve telefonlar kapsamında konuşmacıyla ilgili 12 özellik kaydediliyor. Böylece araştırmacılar “Hangi modelin ortalama WER değeri en düşük?” sorusunun ötesine geçip her modelin hangi koşullarda daha az kararlı olduğunu inceleyebiliyor. Monsoon, bölgesel dayanıklılık ve Hindi transkript puanlaması açısından anlamlı bir değerlendirme geliştirmesi sunuyor; ancak üretim garantisi değil ve Hindistan'daki tüm diller için ulusal ölçekte temsili bir ölçüm olarak görülmemeli.

Monsoon, Open ASR Leaderboard'a neler katıyor?

Monsoon, aynı konuşma odaklı ve spontane konuşma toplama süreciyle hazırlanan dört test bölümü ekliyor. Her dilde, yeniden puanlama yapılabilen bir açık bölüm ile benchmark'a özel ince ayarı zorlaştırmak üzere gizli tutulan bir özel bölüm bulunuyor. Resmî duyuru, bu sürümü leaderboard'ın çok dilli bağlamına eklenen ilk Hint dili içeriği olarak tanımlıyor.

Bölümlere göre veri envanteri

Açık Monsoon en-IN veri seti kartı, 16 kHz ses, 9.6 saniyelik ortalama klip uzunluğu ve 10.4 saniyelik medyan değer bildiriyor. Monsoon hi-IN kartında ise açık bölüm için ortalama 6.4 saniye, medyan 5.0 saniye olarak veriliyor. Dört bölümün toplamı 17.00 saat. Dolayısıyla bu benchmark, uzun çağrılardan ziyade kısa konuşma parçalarıyla çeşitliliği ölçmeye odaklanıyor.

Yeniden üretim için açık, genelleme için özel bölümler

Araştırmacılar açık bölümleri Hugging Face üzerinden yükleyip bir tanıyıcı çalıştırabilir, çıktıyı normalize edebilir ve korpus seviyesinde skor hesaplayabilir. en-IN için veri seti kartı, ekleme, silme ve değiştirme sayılarının klip başına WER ortalaması alınarak değil, toplam referans kelime sayısına bölünerek hesaplanmasını istiyor.

Hindi için açık kart, lattice-aware voi-oiwer puanlayıcısını sunuyor. Temel bir yükleme örneği şöyle:

from datasets import load_dataset
from voi_oiwer import oiwer

hi = load_dataset(
    "VoiceArena/MonsoonASR-Open-ASR-leaderboard-hi-IN",
    split="test",
)
hypothesis = "replace with your model output for hi[0]"
result = oiwer(hypothesis, hi[0]["lattice"], "hindi")
score, (ins, dele, sub), ref_words = result[0], result[4], result[5]

Özel bölümler dışarıda tutuluyor ve konuşmacı çakışmasını önleyecek şekilde hazırlanıyor. Böylece model ekipleri değerlendirmedeki her örneğe göre ince ayar yapamıyor. Özel veri tasarımı, bu sonuçları açık varsayılan sıralamayı yeniden tanımlamak yerine ayrı toplu görünümlerde tutuyor.

Güncellemenin asıl değerlendirme farkı konuşmacı kapsamı

Açık en-IN setinde 2.102 klipte 1.444 konuşmacı, açık hi-IN setinde ise 753 klipte 468 konuşmacı bulunuyor. Resmî duyurudaki kapsam tablosuna göre en fazla katkı yapan on konuşmacının toplam kayıt süresindeki payı, dört bölüm genelinde yalnızca %2,8 ile %6,8 arasında.

Bu dağılım, tek bir üretken konuşmacının, mikrofonun veya kayıt tarzının skoru domine etme ihtimalini azaltıyor; fakat örneklemi otomatik olarak temsili hale getirmiyor. Kaydedilen 12 özellik; cinsiyet, doğum tarihi, meslek, eğitim, medeni durum, gelir, anadil ilçesi ve eyaleti, mevcut şehir, mevcut ilçede geçirilen yıl sayısı, cihaz üreticisi ve cihaz modelini kapsıyor.

Hint İngilizcesi tek bir aksan değil, coğrafi bir dağılım

Açık en-IN bölümü 428 anadil ilçesini, 30 eyalet ve birlik bölgesini, 641 mevcut şehri ve 556 telefon modelini kapsıyor. Bölgesel dağılımda Güney %35, Doğu %18, Merkez %18, Kuzey %16 ve Batı %11 paya sahip. Hugging Face duyurusuna göre hiçbir eyalet konuşmacıların %13'ünden fazlasını oluşturmuyor.

native_district, native_state, current_city, years_spent_in_current_district, device_manufacturer ve device_model alanları, bölgesel ve cihaz bazlı kırılımların karşılaştırılmasını sağlıyor. Dolayısıyla “Hint İngilizcesi” tek bir mikrofon koşulundan veya tek bir aksandan ibaret değil. Bir model, belirli bir bölgesel konuşma dağılımında güçlü olurken başka bir bölgede daha az kararlı davranabilir ve buna rağmen genel WER açısından rekabetçi kalabilir.

Hindi'nin kapsamı farklı, puanlama sorunu da öyle

Açık Hindi bölümü daha küçük: 1.33 saat, 468 konuşmacı, 202 ilçe ve 315 telefon modeli. Hindi kapsamı Hindi kuşağında yoğunlaşıyor; duyuruya göre koleksiyondaki Hindi konuşmacıların yaklaşık %40'ı Uttar Pradesh'ten geliyor. Bu bilgi, Hindi sonuçlarını yorumlamak için önemli bir bağlam sunuyor; ancak Hindi konuşan her topluluğun eşit biçimde temsil edildiğini göstermiyor.

Hindi verisinde İngilizce kökenli kelimeler, kod değiştirme, birleşik kelimelerin bitişik ya da ayrı yazılması, Devanagari yazım farklılıkları ve Romanize alternatifler bulunuyor. Bu nedenle hi-IN veri seti kartı, her transkript aralığında birden fazla kabul edilen yazılı biçimin bulunabildiği bir lattice yapısı kullanıyor.

Bölgesel hata analizi, toplu WER'ın gizlediği farkları gösteriyor

Resmî bölgesel örnek, açık Hint İngilizcesi bölümü kullanılarak hazırlanmış. Sekiz modelin sonucu 4.81 ile 4.99 WER arasında; yani fark yalnızca 0.18 puan. Duyuru, yaklaşık beş saatlik bir test setinin bu kadar küçük bir farkı güvenilir biçimde ayırt edemeyebileceği konusunda uyarıyor.

Aynı sonuçlar beş coğrafi bölgeye ayrıldığında model kararlılığına dair tablo değişiyor:

Daha geniş aralık, Voxtral'ın dört kat daha fazla transkripsiyon hatası yaptığı anlamına gelmiyor; modelin bölgeler arasında daha fazla değişkenlik gösterdiğini anlatıyor. Bölgesel zayıflıkların modele göre değişmesi, modelin belirli koşullara duyarlı olabileceğini düşündürüyor; ancak bunun nedenini kanıtlamıyor.

Gerçek bir kullanıcı olan @FoucqueThomas, sürümün ardından aynı ayrıma dikkat çekti:

“⚡ Open ASR Leaderboard, Hindi ve Hint İngilizcesini ekliyor (4.888 konuşmacı, klip başına 12 özellik). Sonuç: Genel WER'da neredeyse aynı görünen iki model, konuşmacının bölgesine göre yaklaşık 4 kata varan farklar gösterebiliyor. Ses çeşitliliğini nihayet dürüstçe ölçen bir benchmark.” — X'te @FoucqueThomas