AIREITER排行榜可以告訴你兩個語音辨識器的成績幾乎打成平手，但它往往沒有回答更重要的問題：這個平手結果，適用於哪些講者、地區、裝置與文字書寫習慣？全新的 en-IN 與 hi-IN 評測集，讓 Open ASR Leaderboard 更適合用來檢視多語 ASR；不過，這些公開資料仍以短篇錄音為主，解讀時不能忽略其限制。
先講結論：Monsoon 讓排行榜不只會排名，還能解釋差異
Open ASR Leaderboard 現在加入兩組 Voice Arena 評測資料：用於印度英語的 Monsoon en-IN，以及用於 Hindi 的 Monsoon hi-IN。印度英語會出現在主排行榜欄位，並計入最醒目的 Average WER；Hindi 則會出現在多語評測頁面，模型必須涵蓋所選語言，才有資格取得多語排名。
四個公開與私有 split 合計涵蓋 4,888 名彼此不重疊的講者，並記錄 12 項與講者相關的屬性，包含人口統計、背景、地理位置與手機裝置。研究人員因此不必只問「哪個模型的平均 WER 最低？」也能進一步檢查各模型在哪些情境下較不穩定。Monsoon 確實提升了區域穩健性與 Hindi 轉錄評分的評測品質，但它不是正式上線保證，也不能視為涵蓋所有印度語言的全國代表性指標。
Open ASR Leaderboard 這次多了什麼？
Monsoon 新增四個測試 split，全部透過同一套對話式、自然即興語音流程蒐集。每種語言都提供一組可供自行評分的公開 split，以及一組私有 split，降低針對特定 benchmark 調參的可能性。官方公告指出，這是該排行榜首次在多語評測脈絡中加入印度語言。
四組資料怎麼分？
| Split | 音訊 | 講者 | 片段 | 原籍地區 | 邦／聯邦屬地 | 裝置 | 參考格式 |
|---|---|---|---|---|---|---|---|
| Monsoon en-IN public | 5.62 小時 | 1,444 | 2,102 | 428 | 24 / 6 | 556 | 含不流暢現象的正規化文字 |
| Monsoon en-IN private | 5.58 小時 | 1,405 | 未公開 | 420 | 24 / 6 | 560 | 含不流暢現象的正規化文字 |
| Monsoon hi-IN public | 1.33 小時 | 468 | 753 | 202 | 11 / 3 | 315 | 可接受變體的 lattice |
| Monsoon hi-IN private | 4.47 小時 | 1,571 | 未公開 | 295 | 12 / 3 | 582 | 可接受變體的 lattice |
公開的 Monsoon en-IN dataset card 顯示，音訊取樣率為 16 kHz，片段平均長度為 9.6 秒，中位數為 10.4 秒。Monsoon hi-IN card 則顯示，公開 split 的平均長度為 6.4 秒，中位數為 5.0 秒。四組資料合計 17.00 小時，因此這是一套著重多樣性的 benchmark，素材是短篇對話片段，而不是長時間通話。
公開資料方便重現，私有資料用來檢驗泛化
研究人員可以從 Hugging Face 載入公開 split，執行語音辨識器、正規化輸出，再計算整個 corpus 的分數。對 en-IN 而言，dataset card 要求將插入、刪除與替換的總數，除以參考文字的總字數，而不是先計算每個片段的 WER 再取平均。
Hindi 的公開 card 則提供支援 lattice 的 voi-oiwer scorer。最基本的載入方式如下：
from datasets import load_dataset
from voi_oiwer import oiwer
hi = load_dataset(
"VoiceArena/MonsoonASR-Open-ASR-leaderboard-hi-IN",
split="test",
)
hypothesis = "replace with your model output for hi[0]"
result = oiwer(hypothesis, hi[0]["lattice"], "hindi")
score, (ins, dele, sub), ref_words = result[0], result[4], result[5]私有 split 會維持隔離講者設計並保留在評測端，避免模型團隊針對每一筆評測資料調整。私有資料設計會將結果放在獨立的彙總檢視中，而不是拿來重新定義公開預設排名。
這次真正改變評測方式的，是講者涵蓋範圍
公開 en-IN 資料包含 1,444 名講者、2,102 個片段；公開 hi-IN 資料則包含 468 名講者、753 個片段。根據官方公告的涵蓋範圍表，四組 split 中，貢獻量最大的十名講者合計只占總時長的 2.8% 至 6.8%。
這降低了單一高產講者、麥克風或錄音風格主導分數的機會，但不代表樣本因此具備統計代表性。12 項記錄屬性涵蓋性別、出生日期、職業、教育程度、婚姻狀況、收入、原籍地區與邦、目前所在城市、在目前地區居住的年數、裝置製造商，以及裝置型號。
印度英語呈現的是地理分布，不是單一口音
公開 en-IN split 涵蓋 428 個原籍地區、30 個邦與聯邦屬地、641 個目前所在城市，以及 556 種手機型號。片段分布中，南部占 35%、東部 18%、中部 18%、北部 16%、西部 11%。根據 Hugging Face 公告，沒有任何單一邦的講者占比超過 13%。
透過 native_district、native_state、current_city、years_spent_in_current_district、device_manufacturer 與 device_model 等欄位，評測者可以比較不同地區與手機切片的表現。「印度英語」因此不是單一麥克風條件，也不是單一口音。某個模型可能在一種區域語音分布中表現出色，在另一種分布下卻較不穩定，同時整體 WER 仍然很有競爭力。
Hindi 的涵蓋範圍不同，評分難題也不同
公開 Hindi split 規模較小：1.33 小時、468 名講者、202 個地區，以及 315 種手機型號。Hindi 資料主要集中在 Hindi belt；公告表示，北方邦約占此次蒐集講者的 40%。這項資訊有助於解讀 Hindi 成績，但不能據此認定每個使用 Hindi 的社群都獲得同等代表。
Hindi 還涉及英語來源詞、語碼轉換、複合詞連寫或分寫、Devanagari 拼寫差異，以及羅馬字轉寫等情況。因此，hi-IN dataset card採用 lattice 儲存參考答案，讓每個轉錄片段都能包含多種可接受的書寫形式。
區域錯誤分析，能揭開整體 WER 看不到的平手
官方的區域分析範例使用公開 Indian English split。八個模型的 WER 落在 4.81 到 4.99 之間，差距只有 0.18 個百分點。公告提醒，約五小時的測試集未必足以分辨如此細微的差異。
但把同一批結果拆成五個地理區域後，模型穩定性的差距就明顯多了：
| 模型 | 整體觀察 | 區域差距 | 具體區域結果 |
|---|---|---|---|
openai/whisper-large-v3-turbo | 整體成績具競爭力 | 0.46 個 WER 點 | 範例未披露最弱區域 |
mistralai/Voxtral-Mini-3B-2507 | 整體落後 Whisper 0.14 點 | 1.68 個 WER 點 | 中部 4.38，相較東部 6.06 |
ibm-granite/granite-speech-3.3-2b | 納入區域分析 | 未報告 | 北部是其最弱區域 |
microsoft/VibeVoice-ASR-HF | 納入區域分析 | 未報告 | 南部是其最弱區域 |
Voxtral 的區域差距較大，代表的是區域變異更明顯，不是轉錄錯誤多了四倍。不同模型的弱勢區域也不一樣，這顯示模型對不同分布的敏感度各異，但不能單憑這些結果推斷原因。
發布後，真實使用者 @FoucqueThomas 也指出了相同差異：
「⚡ Open ASR Leaderboard 加入 Hindi 與印度英語（4,888 名講者、每個片段 12 項屬性）。結果顯示：兩個模型的整體 WER 幾乎一樣，但依講者所在區域不同，成績差距最高可達約 4 倍。這終於是一套誠實面對語音多樣性的 benchmark。」—— @FoucqueThomas on X
如果實際使用者集中在某個特定地區，整體成績打平並不足以支持模型選擇。這個範例也無法證明區域差異是由特定訓練資料失衡所造成。
Hindi 為什麼需要 lattice 評分？
標準 WER 假設參考答案只有一種標準寫法。這套假設對大小寫與拼寫正規化尚且可行，但遇到混合 Hindi 就容易失準。正確輸出可能採用 Devanagari 拼寫、羅馬字形式、英語來源詞寫法，或不同的複合詞邊界。
Monsoon hi-IN 透過 reference lattice 處理這個問題：官方發布說明指出，系統會擴充候選變體，再交由母語語言學家審核，最後只保留與語句一致的形式。只要屬於有效變體，就不會因為和某一位標註者的寫法不同而被扣分。
排行榜在 Hindi 評測中採用 Orthographically-Informed Word Error Rate (OIWER)。可接受的變體會被視為正確，真正的辨識錯誤仍會照常計分。排行榜整合 commit則展示了 Hindi 資料，以及多語言逐語言檢視如何接入應用程式。
這套評分規則可能改變模型排名。官方公告表示，若把 Hindi lattice 攤平成單一參考答案，所有受測系統的錯誤率都會上升，而且上升幅度並不一致。因此，多語排行榜可以更符合語言實際情況，而不必把所有結果硬壓成一個放諸四海皆準的數字。
如何用更新後的排行榜挑模型？
把 Monsoon 當成初步篩選與診斷工具，最後仍要用符合實際場景的音訊驗證候選模型。
- 先用 Average WER 篩掉一批模型。印度英語現在會影響主排行榜平均分數，因此，只在朗讀語音或非印度英語上表現良好的模型，較難避開對話式印度口音測試的影響。
- 比較多語平均分數前，先確認語言涵蓋範圍。排行榜原始碼會將缺少的指定語言顯示為
NA，並報告如3/5的Coverage值；模型只有在支援所有指定語言時，才會取得多語排名。詳情可參考整合程式碼。 - 按照公開欄位切分 Monsoon 資料。比較原籍地區、邦、城市、裝置或其他可用中繼資料。關注表現差距與錯誤集中在哪裡，不要只看某個子群組的最佳分數。
- 用具代表性的正式環境音訊做驗證。測試實際使用的手機組合、噪音條件、語碼轉換模式、VAD 與語音長度。Monsoon 公開片段平均不到十秒，不能代表所有客服通話、會議或語音代理工作負載。
X 上的實務使用者 @PlimmApp 提醒，如果評測從包含語音的片段開始，VAD 可能掩蓋模型在靜音期間產生幻覺文字的問題：「你 pipeline 裡的 VAD 也是盲點……一個模型如果在靜音上持續輸出流暢文字，根本不會因此被扣分。」可閱讀完整留言。對裝置端團隊而言，VAD、端點偵測與幻覺處理應該分開評估。
Monsoon 目前仍回答不了哪些問題？
- 規模與長音訊移轉能力：公開 en-IN 資料為 5.62 小時，公開 hi-IN 資料為 1.33 小時；片段平均長度分別為 9.6 秒與 6.4 秒。細微分數差距與長音訊表現都需要另外驗證。
- 全國代表性：廣泛的地區、邦與裝置涵蓋，並不等於按照人口加權建立的印度英語或 Hindi 使用者普查。
- 因果解釋：區域關聯無法判定成因究竟來自訓練資料、聲學、語音特徵、解碼，或其他因素。
- 私有資料的預測能力：隔離講者的私有 split 用來測試泛化能力，但外部無法獨立檢查其中的個別樣本。
- 下游文字是否合用：搜尋、字幕、分析與法律逐字稿，可能各自偏好不同的文字系統、正規化、標點或語碼轉換規則。
Open ASR Leaderboard Monsoon 常見問題
印度英語會影響主排行榜平均分數嗎？
會。Monsoon en-IN 是預設的英語排行榜輸入之一，並會計入 Average WER。公開與私有資料的規模，可參考資料 split 清單。
Hindi 是主排行榜的一部分嗎？
Hindi 會顯示在多語檢視頁面。缺少的指定語言會顯示為 NA，只有完整涵蓋所有指定語言的模型，才會取得多語排名。
可以下載公開資料並自行評分嗎？
可以。en-IN 與 hi-IN card 都提供載入範例。請使用 corpus-level aggregation；Hindi lattice 則使用 OIWER。
為什麼 Hindi 不直接用一般 WER？
固定的 Hindi 參考答案可能會懲罰有效的 Devanagari、羅馬字、混合語碼或複合詞變體。lattice 會為每個轉錄片段記錄可接受的形式。
整體 WER 較低，就代表模型在每個印度地區都比較好嗎？
不代表。官方 en-IN 範例顯示，模型整體 WER 幾乎相同，但區域差距可能不同。部署前應檢查子群組表現，並使用具代表性的音訊進行測試。
實際該怎麼做？
用 en-IN 做主排行榜的初步篩選，用 hi-IN 與 OIWER 進行 Hindi 或多語比較；如果區域差距很大，也應把它視為風險訊號。最後，再以使用者真正產生的音訊、噪音條件、VAD 行為與文字規則，驗證最終入選模型。