Open ASR Leaderboard：HindiとIndian EnglishのMonsoonアップデート

音声認識モデルのスコアがほぼ同じなら、リーダーボードは一見すると「どちらを選んでもよさそうだ」と教えてくれる。Monsoonが投げかけるのは、その先の問いだ。どの話者、地域、端末、表記ルールで同点なのか？ 新たに加わったen-INとhi-INの評価セットによって、Open ASR Leaderboardは多言語ASRをより実践的に比較できるようになった。ただし、公開データは短い録音が中心なので、結果の読み解きには注意が必要だ。

要点：Monsoonでリーダーボードから読み取れることが増えた

Open ASR Leaderboardに、Voice Arenaの評価セットとしてMonsoon en-IN（Indian English）とMonsoon hi-IN（Hindi）が追加された。Indian Englishはメインのリーダーボード列に入り、全体のAverage WERにも反映される。一方、Hindiは多言語評価ビューに表示され、選択した言語をすべてカバーするモデルだけが多言語ランキングの対象になる。

公開・非公開の4つの分割には、話者が重複しない4,888人が収録され、人口統計、生活背景、地理、端末にまたがる12の話者関連属性が記録されている。つまり、単に「平均WERが最も低いモデルはどれか」を見るだけでなく、モデルごとにどの条件で不安定になるのかまで調べられる。Monsoonは地域ロバストネスとHindiの文字起こし評価を改善する重要なベンチマークだが、本番環境での性能を保証するものでも、インドのあらゆる言語を全国規模で代表する指標でもない。

Open ASR Leaderboardに追加されたMonsoonの中身

Monsoonでは、会話調の自発音声を同じ収録パイプラインで集めた4つのテスト分割が追加された。各言語には、再現可能な評価に使える公開分割と、ベンチマークに合わせたチューニングを難しくするための非公開分割が用意されている。公式発表では、今回のリリースを、このリーダーボードの多言語評価における初のインド言語追加と位置づけている。

分割ごとの収録内容

公開版のMonsoon en-INデータセットカードによると、音声は16 kHzで、クリップ長は平均9.6秒、中央値10.4秒だ。Monsoon hi-INのカードでは、公開分割の平均が6.4秒、中央値が5.0秒となっている。4分割を合計しても17.00時間であり、長時間の通話データというより、短い会話セグメントから多様性を測るためのベンチマークと考えるべきだ。

公開データは再現用、非公開データは汎化性能の確認用

研究者はHugging Faceから公開分割を読み込み、認識器を実行して出力を正規化し、コーパス全体のスコアを計算できる。en-INでは、クリップごとのWERを平均するのではなく、挿入・削除・置換の総数を正解語数の合計で割るよう、データセットカードで指定されている。

Hindi向けには、ラティスを考慮したvoi-oiwerスコアラーが公開されている。最小限の読み込み例は次のとおりだ。

from datasets import load_dataset
from voi_oiwer import oiwer

hi = load_dataset(
    "VoiceArena/MonsoonASR-Open-ASR-leaderboard-hi-IN",
    split="test",
)
hypothesis = "replace with your model output for hi[0]"
result = oiwer(hypothesis, hi[0]["lattice"], "hindi")
score, (ins, dele, sub), ref_words = result[0], result[4], result[5]

非公開分割は、モデル開発チームが個々の評価例に合わせて調整できないよう、話者が重複しない状態で保持されている。非公開データの設計では、これらの結果を別の集計ビューに分け、公開版のデフォルトランキングそのものを作り替えない方針が採られている。

今回の本質は、話者カバレッジの拡大にある

公開版のen-INには1,444人の話者と2,102クリップが、公開版のhi-INには468人の話者と753クリップが含まれる。公式発表のカバレッジ表によると、4分割全体で見ても、収録時間のうち上位10人の投稿者が占める割合は2.8%から6.8%にとどまる。

特定の話者、マイク、録音スタイルがスコアを支配する可能性は下がるが、これだけで統計的に代表性のあるサンプルになるわけではない。記録されている12属性は、性別、生年月日、職業、学歴、婚姻状況、収入、出身地区と州、現在の都市、現在の地区に住んだ年数、端末メーカー、端末モデルだ。

Indian Englishは、ひとつのアクセントではなく地理的な分布として見る

公開版のen-INは、428の出身地区、30の州・連邦直轄領、641の現在の居住都市、556の端末モデルをカバーしている。地域別の構成は南部35%、東部18%、中央部18%、北部16%、西部11%だ。Hugging Faceの発表によれば、話者数が13%を超える州はない。

native_district、native_state、current_city、years_spent_in_current_district、device_manufacturer、device_modelを使えば、地域別・端末別のスライスを比較できる。「Indian English」を単一のマイク条件やアクセントとして扱うのは適切ではない。全体WERでは競争力のあるモデルでも、ある地域の音声分布では強く、別の地域では不安定になる可能性がある。

Hindiはカバレッジも、スコアリングの難しさも異なる

公開版Hindiの規模はより小さく、1.33時間、468人の話者、202地区、315モデルの端末で構成される。Hindiのカバレッジはヒンディーベルトに集中しており、発表では収録話者の約40%をウッタル・プラデーシュ州が占めるとしている。Hindiの結果を読むうえで有用な背景情報ではあるが、Hindi話者のあらゆるコミュニティが均等に含まれていることを意味するわけではない。

Hindiでは、英語由来の語、コードスイッチング、複合語の結合・分離、デーヴァナーガリー文字の表記揺れ、ローマ字表記の代替形が混在する。そこでhi-INデータセットカードでは、各文字起こしの区間に複数の許容表記を持たせたラティスを採用している。

地域別エラー分析で、平均WERだけでは見えない差が浮かぶ

公式の地域別分析例には、公開版Indian Englishのデータが使われている。8モデルのWERは4.81から4.99の範囲に収まり、差はわずか0.18ポイントだ。発表では、約5時間のテストセットではこの程度の差を判別できない可能性があると注意を促している。

同じ結果を5つの地理的ゾーンに分けると、性能の安定性は違って見えてくる。

差が大きいからといって、Voxtralの文字起こしミスが4倍になったという意味ではない。地域間の広い差は、Voxtralの性能変動が大きいことを示している。また、モデルによって弱い地域が異なるため、モデル固有の感度が存在する可能性はあるが、その原因まで証明するものではない。

実際のユーザーである@FoucqueThomasも、リリース後に同じ点を指摘している。

「⚡ Open ASR LeaderboardにHindiとIndian Englishが追加された（4,888人の話者、クリップごとに12属性）。その結果、全体WERがほぼ同じ2つのモデルでも、話者の地域によって最大で約4倍の差が出る。音声の多様性をようやく正面から扱った、誠実なベンチマークだ。」 — Xの@FoucqueThomas

利用者が特定の地域に集中しているなら、全体スコアが同程度というだけではモデルを選ぶ根拠として不十分だ。今回の例から、地域差の原因が特定の学習データの偏りにあると断定することもできない。

多言語ASR評価でHindiのラティススコアリングが重要な理由

標準的なWERは、正解テキストがひとつに定まっていることを前提とする。大文字・小文字や一般的な正規化には向いているが、コードミックスが起こるHindiでは事情が違う。デーヴァナーガリー表記、ローマ字表記、英語由来語の綴り、複合語の区切り方が異なっていても、内容としては正しい出力になり得るからだ。

Monsoon hi-INは、正解テキストをラティスとして扱うことでこの問題に対応する。公式リリースによれば、候補となる表記を展開したうえで、母語話者の言語学者が確認し、発話と整合する形だけを残している。これにより、別の注釈者が選んだ表記と違うだけの正しい代替表現が、誤りとして減点されにくくなる。

リーダーボードのHindi評価には、Orthographically-Informed Word Error Rate（OIWER）が使われる。許容された表記は正解として扱われる一方、実際の認識ミスは通常どおり加点される。リーダーボード統合コミットを見ると、Hindiのデータと、言語ごとに確認できる多言語ビューがアプリケーションに組み込まれていることが分かる。

このスコアリング方式によって、モデルの順位が入れ替わることもある。公式発表では、Hindiのラティスを単一の正解テキストに平坦化すると、テストしたすべてのシステムでエラー率が上がり、その上昇幅も一様ではなかったとしている。多言語リーダーボードは、すべての結果をひとつの万能な数値に押し込めなくても、言語的な公平性を高められる。

更新されたリーダーボードをモデル選定に生かす方法

Monsoonは候補の絞り込みと弱点の診断に使い、最終候補は実際の利用環境に近い音声で検証しよう。

1. まずはAverage WERで候補を絞る。Indian Englishがメインの平均値に影響するため、朗読調の英語やインド以外の英語でだけ好成績を出すモデルは、会話調のIndian Englishテストから逃れにくくなった。
2. 多言語平均を比べる前に、対応言語を確認する。リーダーボードのソースでは、選択した言語に未対応の場合はNAとして表示され、3/5のようなCoverage値も示される。選択した言語をすべてサポートするモデルだけが多言語ランクの対象になる。詳細は統合コードを参照してほしい。
3. 公開Monsoonデータを記録された属性で分けて見る。出身地区、州、都市、端末など、利用できるメタデータごとに比較しよう。特定サブグループでの最高スコアだけでなく、性能のばらつきや失敗の集中も確認したい。
4. 代表性のある本番音声で最終検証する。利用するスマートフォンの構成、ノイズ条件、コードスイッチングのパターン、VAD、発話長を実際のデータで試す。公開Monsoonのクリップは平均10秒未満なので、コールセンター、会議、音声エージェントのあらゆるワークロードを代替できるわけではない。

Xでは、実務家の@PlimmAppが、音声を含む区間から評価を始めるとVADによって無音時の幻覚を見落とす可能性があると指摘している。「パイプラインのVAD処理も盲点になる……無音に対して流暢なテキストを出すモデルは、その分のペナルティを受けない」。詳しくは元のコメントを読んでほしい。オンデバイスで使うチームは、VAD、発話区間の終端検出、幻覚への対処を分けて評価すべきだ。

Monsoonでもまだ分からないこと

• 規模と長時間音声への転移：公開版en-INは5.62時間、公開版hi-INは1.33時間で、クリップの平均長はそれぞれ9.6秒と6.4秒だ。小さなスコア差や長時間音声での挙動は、別途検証する必要がある。
• 全国的な代表性：地区、州、端末を広くカバーしていても、Indian EnglishやHindi話者の人口構成を重み付けした国勢調査ではない。
• 原因の特定：地域との相関だけでは、原因が学習データ、音響、音声学、デコーディング、その他の要因のどれなのかは分からない。
• 非公開セットの予測力：話者が重複しない非公開分割は汎化性能を測るためのものだが、収録例を第三者が個別に確認することはできない。
• 下流のテキスト要件：検索、字幕、分析、法務向け文字起こしでは、スクリプト、正規化、句読点、コードスイッチングに対する望ましいルールがそれぞれ異なる。

Open ASR Leaderboard Monsoon FAQ

Indian Englishはメインの平均値に影響しますか？

はい。Monsoon en-INは英語リーダーボードのデフォルト入力となり、Average WERに反映される。公開・非公開それぞれの規模は分割ごとの一覧で確認できる。

Hindiはメインのランキングに含まれますか？

Hindiは多言語ビューに表示される。選択した言語に未対応のモデルはNAと表示され、選択した言語をすべてカバーするモデルだけが多言語ランクを取得できる。

公開セットをダウンロードしてスコアを計算できますか？

できる。en-INとhi-INのカードに読み込み例がある。コーパス全体で集計し、HindiのラティスにはOIWERを使おう。

Hindiを通常のWERで評価しないのはなぜですか？

Hindiの正解テキストをひとつに固定すると、デーヴァナーガリー、ローマ字、コードミックス、複合語の区切り方に関する正しいバリエーションまで誤りとして扱う可能性がある。ラティスには、各テキスト区間で許容される表記が記録されている。

全体WERが低いモデルなら、インドのどの地域でも優れていると言えますか？

言えない。公式のen-IN例では、全体WERがほぼ同じでも地域間のばらつきは異なっていた。導入前にはサブグループごとの挙動を確認し、代表性のある音声でテストする必要がある。

実務上の判断

全体の候補選びにはen-IN、Hindiや多言語の比較にはhi-INとOIWERを使い、地域間の差が大きい場合はその広がりをリスク指標として見る。最後は、ユーザーが実際に発する音声、ノイズ、VADの挙動、テキスト表記のルールに合わせて、最終候補を検証しよう。