AIREITER当两个语音识别器的成绩几乎持平时，榜单只能告诉你“它们差不多”。Monsoon 进一步追问：它们究竟在哪些说话人、地区、设备和书写规范上持平？ 新增的 en-IN 与 hi-IN 评测集，让 Open ASR Leaderboard 更适合进行多语言 ASR 对比。不过，这些公开录音时长较短，解读结果时仍需保持谨慎。
先说结论：Monsoon 让榜单不只会排名，还能解释差异
Open ASR Leaderboard 现在加入了两个 Voice Arena 评测集：面向 Indian English 的 Monsoon en-IN，以及面向 Hindi 的 Monsoon hi-IN。Indian English 会显示在主榜单列中，并计入头部的 Average WER；Hindi 则出现在多语言评测视图里，模型只有覆盖所选语言，才能获得多语言排名。
四个公开与私有 split 合计覆盖 4,888 名说话人，且说话人彼此不重叠，并记录了 12 项与说话人相关的属性，涵盖人口统计、背景、地理位置和手机设备。研究者因此不必只盯着“哪个模型的平均 WER 最低”，还可以继续观察模型在哪些场景下更不稳定。Monsoon 确实提升了区域鲁棒性和 Hindi 转写评分的评测价值，但它不是生产环境保证，也不能代表印度所有语言或所有人群。
Monsoon 为 Open ASR Leaderboard 带来了什么
Monsoon 新增了四个测试 split，全部通过同一套对话式、自发语音采集流程获得。每种语言都提供一个用于自行评分的公开 split，以及一个旨在降低针对基准调参空间的私有 split。官方公告称，这是该榜单首次在多语言评测语境中加入印度语言。
四个 split 一览
| Split | 音频 | 说话人 | 片段 | 原籍地区 | 邦 / 联邦属地 | 设备 | 参考文本格式 |
|---|---|---|---|---|---|---|---|
| Monsoon en-IN public | 5.62 小时 | 1,444 | 2,102 | 428 | 24 / 6 | 556 | 保留语气不流畅现象的规范化文本 |
| Monsoon en-IN private | 5.58 小时 | 1,405 | 不公开 | 420 | 24 / 6 | 560 | 保留语气不流畅现象的规范化文本 |
| Monsoon hi-IN public | 1.33 小时 | 468 | 753 | 202 | 11 / 3 | 315 | 可接受变体 lattice |
| Monsoon hi-IN private | 4.47 小时 | 1,571 | 不公开 | 295 | 12 / 3 | 582 | 可接受变体 lattice |
公开的 Monsoon en-IN 数据集卡片显示，其音频采样率为 16 kHz，片段平均时长为 9.6 秒，中位数为 10.4 秒。Monsoon hi-IN 卡片显示，其公开 split 的平均时长为 6.4 秒，中位数为 5.0 秒。四个 split 合计 17.00 小时，因此它更像是一个强调多样性的基准：由大量短对话片段组成，而不是长时间通话数据。
公开集方便复现，私有集用来检验泛化
研究者可以从 Hugging Face 加载公开 split，运行自己的识别器，对输出进行规范化，然后计算语料级分数。对于 en-IN，数据集卡片要求将插入、删除和替换错误的总数除以参考文本词数总和，而不是先分别计算每个片段的 WER，再取平均。
Hindi 的公开卡片提供了支持 lattice 的 voi-oiwer 评分器。最小加载示例如下：
from datasets import load_dataset
from voi_oiwer import oiwer
hi = load_dataset(
"VoiceArena/MonsoonASR-Open-ASR-leaderboard-hi-IN",
split="test",
)
hypothesis = "replace with your model output for hi[0]"
result = oiwer(hypothesis, hi[0]["lattice"], "hindi")
score, (ins, dele, sub), ref_words = result[0], result[4], result[5]私有 split 会保持留出状态，并确保说话人彼此不重叠，这样模型团队就无法针对每条评测样本进行调参。私有数据设计会将这些结果放在独立的聚合视图中，而不是借此改写公开的默认排名。
真正改变评测方式的，是说话人覆盖范围
公开 en-IN 集包含来自 1,444 名说话人的 2,102 个片段，公开 hi-IN 集则包含来自 468 名说话人的 753 个片段。官方公告中的覆盖情况表显示，在四个 split 中，贡献时长最多的十名说话人合计只占总时长的 2.8% 至 6.8%。
这降低了某一位高产说话人、某种麦克风或某种录音风格主导最终分数的可能性，但并不意味着样本就具备人口代表性。记录的 12 项属性包括性别、出生日期、职业、教育程度、婚姻状况、收入、原籍地区与邦、当前城市、在当前地区居住的年限、设备制造商和设备型号。
Indian English 是地理分布，而不是单一口音
公开 en-IN split 覆盖 428 个原籍地区、30 个邦和联邦属地、641 个当前城市以及 556 种手机型号。按地理区域划分，南部占 35%，东部占 18%，中部占 18%，北部占 16%，西部占 11%。根据 Hugging Face 公告，没有任何单一邦的说话人占比超过 13%。
借助 native_district、native_state、current_city、years_spent_in_current_district、device_manufacturer 和 device_model 等字段，评测者可以进一步比较不同地区和手机设备切片。“Indian English”并不是某一种固定的麦克风条件，也不是一种单一口音。模型可能在某一地区的语音分布上表现出色，在另一地区却稳定性较差，但整体 WER 仍然很有竞争力。
Hindi 的覆盖范围不同，评分难题也不同
公开 Hindi split 的规模更小：1.33 小时、468 名说话人、202 个地区和 315 种手机型号。Hindi 的覆盖主要集中在 Hindi belt；公告称，在此次采集中，Uttar Pradesh 的 Hindi 说话人约占 40%。这为解读 Hindi 结果提供了重要背景，但不能据此认为所有 Hindi 使用群体都得到了同等覆盖。
Hindi 还包含英语来源词、语码转换、连写或分写的复合词、Devanagari 拼写差异，以及 Romanized 写法等情况。因此，hi-IN 数据集卡片采用 lattice 存储参考文本，让每个转写片段都可以包含多个被接受的书写形式。
区域错误分析，会揭示整体 WER 掩盖的差异
官方给出的区域分析示例使用了公开 Indian English split。八个模型的 WER 都落在 4.81 至 4.99之间，差距只有 0.18 个百分点。公告提醒称，一个约五小时的测试集，未必能可靠区分如此细微的差异。
但当同一批结果按五个地理区域拆开后，稳定性就呈现出完全不同的面貌：
| 模型 | 整体表现 | 区域差距 | 具体区域结果 |
|---|---|---|---|
openai/whisper-large-v3-turbo | 整体分数具有竞争力 | 0.46 个 WER 点 | 示例未披露最弱区域 |
mistralai/Voxtral-Mini-3B-2507 | 整体比 Whisper 落后 0.14 个百分点 | 1.68 个 WER 点 | 中部 4.38，东部 6.06 |
ibm-granite/granite-speech-3.3-2b | 参与了区域分析 | 未报告 | 北部是其最弱区域 |
microsoft/VibeVoice-ASR-HF | 参与了区域分析 | 未报告 | 南部是其最弱区域 |
更大的差距说明 Voxtral 在不同区域间的表现波动更明显，并不意味着它产生了四倍之多的转写错误。不同模型的区域短板也不相同，这说明模型对区域语音分布的敏感性可能各有差异，但仅凭这些结果还无法证明具体原因。
一位真实用户 @FoucqueThomas 在发布后也指出了这一点：
“⚡ Open ASR Leaderboard 新增 Hindi 和 Indian English（4,888 名说话人，每个片段包含 12 项属性）。结果显示：两个模型的整体 WER 几乎相同，但根据说话人所在地区，成绩差距最高可达约 4 倍。这个基准终于开始认真面对语音多样性了。”——@FoucqueThomas on X
如果你的用户主要集中在某个特定地区，那么整体成绩打平，并不足以支撑模型选型。这个示例并不能证明区域差异一定由某种训练数据不均衡造成。
为什么 Hindi 的 lattice 评分对多语言 ASR 很重要
标准 WER 假设参考文本存在一个唯一标准答案。对于大小写和拼写规范化，这种方式通常够用；但面对夹杂英语的 Hindi，就容易失真。一个正确输出可能采用 Devanagari 拼写、Romanized 形式、英语来源词的拼写，或者采用不同的复合词边界。
Monsoon hi-IN 通过参考 lattice 处理这一问题：官方发布说明称，候选变体会先扩展，再由母语语言学家审核，最后筛选出与原始话语一致的形式。这样一来，合法的替代写法可以被判定为正确，不会仅仅因为不同于某一位标注者的写法而受到惩罚。
榜单在 Hindi 评测中采用 Orthographically-Informed Word Error Rate（OIWER）。被接受的变体会计为正确，真正的识别错误仍然会被计入。榜单集成提交记录显示，Hindi 数据以及按语言拆分的多语言视图已经接入应用。
这套评分规则可能改变模型排序。官方公告称，如果把 Hindi lattice 展平成单一参考文本，所有被测试系统的错误率都会上升，而且上升幅度并不一致。因此，多语言榜单可以在不把所有结果压缩成一个“万能数字”的前提下，变得更符合语言实际。
如何用更新后的榜单挑选模型
可以把 Monsoon 当作筛选和诊断工具，确定候选模型后，再用真实业务音频做验证。
- 先用 Average WER 缩小候选范围。Indian English 现在会影响主榜单平均分，因此，只在朗读语音或非 Indian English 上表现良好的模型，不再能轻易避开对话式 Indian-accent 测试。
- 比较多语言平均分前，先确认语言覆盖。榜单源码会将缺失的所选语言显示为
NA，并报告类似3/5的Coverage值；只有支持全部所选语言的模型，才会获得多语言排名。具体可参考集成代码。 - 按文档字段拆分公开 Monsoon 数据。可以比较原籍地区、邦、城市、设备或其他可用元数据。重点要看表现波动和错误集中在哪些切片，而不是只挑某个子群体中分数最高的结果。
- 用具有代表性的生产音频做最终验证。测试真实使用中的手机组合、噪声条件、语码转换模式、VAD 和语音长度。Monsoon 公开片段的平均时长不到十秒，不能代表所有呼叫中心、会议或语音代理场景。
从业者 @PlimmApp 在 X 上提醒，如果评测从包含语音的片段开始，VAD 可能掩盖静音幻觉：“你的处理流程里的 VAD 也是盲点……一个在静音上生成流畅文本的模型，根本不会因此被扣分。”请阅读完整评论。对于端侧团队来说，VAD、端点检测和幻觉处理能力应当分别评估。
Monsoon 仍然无法回答什么
- 规模与长音频迁移：公开 en-IN 集为 5.62 小时，公开 hi-IN 集为 1.33 小时；两者片段平均时长分别为 9.6 秒和 6.4 秒。细微的分数差异和长音频表现，都需要单独验证。
- 是否代表全国人群：覆盖大量地区、邦和设备，并不等于按人口加权统计的 Indian English 或 Hindi 说话人普查。
- 差异的因果解释：区域相关性无法判断问题究竟来自训练数据、声学条件、语音学、解码过程，还是其他因素。
- 私有集对实际表现的预测能力：私有 split 通过说话人隔离来测试泛化，但其中的样本无法由外部独立检查。
- 下游文本是否适配：搜索、字幕、分析和法律转写，可能分别偏好不同的脚本、规范化方式、标点规则或语码转换处理方式。
Open ASR Leaderboard Monsoon 常见问题
Indian English 会影响主榜单平均分吗？
会。Monsoon en-IN 是默认的英语榜单输入之一，并会计入 Average WER。公开和私有数据的规模，可参考split 清单。
Hindi 属于主榜单排名吗？
Hindi 会显示在多语言视图中。缺失的所选语言会显示为 NA，只有完整覆盖所选语言的模型才能获得多语言排名。
可以下载公开集并自行评分吗？
可以。en-IN 和 hi-IN 数据集卡片都提供了加载示例。请使用语料级聚合，并对 Hindi lattice 使用 OIWER。
为什么 Hindi 不直接使用普通 WER？
固定的 Hindi 参考文本可能会惩罚合法的 Devanagari、Romanized、语码混合或复合词变体。lattice 会为每个转写片段记录可接受的写法。
整体 WER 更低，就代表模型在印度所有地区都更好吗？
不是。官方 en-IN 示例显示，整体 WER 几乎持平的模型，区域表现波动却可能完全不同。部署前应检查子群体表现，并使用具有代表性的音频进行测试。
实际该怎么做
用 en-IN 做头部筛选，用 hi-IN 和 OIWER 进行 Hindi 或多语言对比；当区域差异较大时，把区域表现波动视为风险信号。最终，还要回到用户真实产生的音频上，验证噪声环境、VAD 表现，以及文本书写规范是否匹配。