AIREITERUn leaderboard puede decirte que dos reconocedores de voz están prácticamente empatados. Monsoon añade la pregunta que falta: ¿empatados para qué hablantes, regiones, dispositivos y convenciones de escritura? Los nuevos conjuntos de evaluación en-IN y hi-IN hacen que Open ASR Leaderboard resulte más útil para evaluar ASR multilingüe, aunque sus grabaciones públicas, breves y conversacionales, siguen requiriendo una interpretación cuidadosa.
En resumen: Monsoon amplía lo que el leaderboard puede explicar
Open ASR Leaderboard ya incluye dos conjuntos de evaluación de Voice Arena: Monsoon en-IN, para inglés indio, y Monsoon hi-IN, para hindi. El inglés indio aparece en las columnas principales del leaderboard y contribuye al Average WER general. El hindi se muestra en la vista de evaluación multilingüe, donde un modelo debe cubrir los idiomas seleccionados para obtener una clasificación multilingüe.
Los cuatro splits públicos y privados reúnen 4.888 hablantes sin solapamiento entre splits y registran 12 atributos relacionados con cada hablante, incluidos datos demográficos, contexto, geografía y dispositivos. Así, los investigadores pueden ir más allá de “¿qué modelo tiene el WER medio más bajo?” y comprobar en qué perfiles pierde estabilidad cada sistema. Monsoon supone una mejora relevante para evaluar la robustez regional y la puntuación de transcripciones en hindi, pero no es una garantía de rendimiento en producción ni una medida representativa de todas las lenguas de India.
Qué incorpora Monsoon a Open ASR Leaderboard
Monsoon añade cuatro splits de prueba recopilados mediante el mismo proceso de habla espontánea y conversacional. Cada idioma cuenta con un split público para realizar evaluaciones propias y otro privado, diseñado para dificultar el ajuste específico al benchmark. El anuncio oficial presenta este lanzamiento como la primera incorporación de una lengua india al contexto multilingüe de este leaderboard.
Inventario de cada split
| Split | Audio | Hablantes | Clips | Distritos de origen | Estados / territorios de la Unión | Dispositivos | Formato de referencia |
|---|---|---|---|---|---|---|---|
| Monsoon en-IN público | 5.62 h | 1.444 | 2.102 | 428 | 24 / 6 | 556 | Texto normalizado con disfluencias |
| Monsoon en-IN privado | 5.58 h | 1.405 | No público | 420 | 24 / 6 | 560 | Texto normalizado con disfluencias |
| Monsoon hi-IN público | 1.33 h | 468 | 753 | 202 | 11 / 3 | 315 | Retícula de variantes aceptadas |
| Monsoon hi-IN privado | 4.47 h | 1.571 | No público | 295 | 12 / 3 | 582 | Retícula de variantes aceptadas |
La ficha del dataset público Monsoon en-IN indica que el audio está a 16 kHz, con una duración media de 9,6 segundos por clip y una mediana de 10,4 segundos. La ficha de Monsoon hi-IN señala una media de 6,4 segundos y una mediana de 5,0 segundos en su split público. En total, los cuatro splits suman 17,00 horas: es un benchmark centrado en la diversidad y construido con segmentos conversacionales breves, no con llamadas largas.
Público para reproducir resultados, privado para medir la generalización
Los investigadores pueden cargar los splits públicos desde Hugging Face, ejecutar un reconocedor, normalizar su salida y calcular una puntuación a nivel de corpus. Para en-IN, la ficha del dataset exige dividir el total de inserciones, eliminaciones y sustituciones entre el total de palabras de referencia, en lugar de promediar el WER de cada clip.
Para hindi, la ficha pública incluye el evaluador consciente de retículas voi-oiwer. Un patrón mínimo de carga es:
from datasets import load_dataset
from voi_oiwer import oiwer
hi = load_dataset(
"VoiceArena/MonsoonASR-Open-ASR-leaderboard-hi-IN",
split="test",
)
hypothesis = "replace with your model output for hi[0]"
result = oiwer(hypothesis, hi[0]["lattice"], "hindi")
score, (ins, dele, sub), ref_words = result[0], result[4], result[5]Los splits privados permanecen fuera del alcance público y mantienen la separación entre hablantes, de modo que los equipos no puedan ajustar el modelo contra cada ejemplo de evaluación. El diseño de datos privados conserva esos resultados en vistas agregadas independientes, sin redefinir la clasificación pública predeterminada.
La cobertura de hablantes es el verdadero cambio de evaluación
El conjunto público en-IN contiene 1.444 hablantes repartidos en 2.102 clips, mientras que el conjunto público hi-IN reúne 468 hablantes en 753 clips. La tabla de cobertura del anuncio oficial indica que los diez mayores contribuyentes representan únicamente entre el 2,8 % y el 6,8 % de la duración total de los cuatro splits.
Esto reduce la posibilidad de que un hablante muy prolífico, un micrófono concreto o un estilo de grabación domine la puntuación, pero no convierte la muestra en representativa. Los 12 atributos registrados incluyen género, fecha de nacimiento, ocupación, educación, estado civil, ingresos, distrito y estado de origen, ciudad actual, años en el distrito actual, fabricante del dispositivo y modelo del dispositivo.
El inglés indio es una distribución geográfica, no un único acento
El split público en-IN abarca 428 distritos de origen, 30 estados y territorios de la Unión, 641 ciudades actuales y 556 modelos de teléfono. La distribución por zonas incluye un 35 % del sur, un 18 % del este, un 18 % de la región central, un 16 % del norte y un 11 % del oeste. Según el anuncio de Hugging Face, ningún estado supera el 13 % de los hablantes.
Los campos native_district, native_state, current_city, years_spent_in_current_district, device_manufacturer y device_model permiten comparar segmentos regionales y de dispositivos. Por eso, “inglés indio” no describe una única condición de micrófono ni un solo acento. Un modelo puede rendir bien con una distribución regional del habla y ser menos estable con otra, aun manteniendo un WER global competitivo.
El hindi tiene otra cobertura… y otro problema de puntuación
El split público de hindi es más pequeño: 1,33 horas, 468 hablantes, 202 distritos y 315 modelos de teléfono. La cobertura se concentra en el cinturón hindi; el anuncio señala que Uttar Pradesh representa aproximadamente el 40 % de los hablantes de hindi de la recopilación. Es un dato útil para contextualizar los resultados, pero no demuestra que todas las comunidades hindi estén representadas por igual.
Además, el hindi incluye palabras de origen inglés, cambios entre idiomas, compuestos escritos juntos o separados, variaciones ortográficas en devanagari y alternativas romanizadas. Por eso, la ficha del dataset hi-IN almacena una retícula en la que cada segmento de la transcripción puede contener varias formas escritas aceptadas.
El análisis regional de errores destapa empates que el WER global oculta
El ejemplo regional oficial utiliza el split público de inglés indio. Ocho modelos se sitúan entre 4,81 y 4,99 de WER, con una diferencia de apenas 0,18 puntos. El anuncio advierte que un conjunto de prueba de unas cinco horas quizá no permita distinguir una diferencia tan pequeña.
Sin embargo, al desglosar esos mismos resultados en cinco zonas geográficas, la imagen de estabilidad cambia:
| Modelo | Observación global | Variación regional | Resultado regional concreto |
|---|---|---|---|
openai/whisper-large-v3-turbo | Puntuación global competitiva | 0,46 puntos de WER | La región más débil no se especifica en el ejemplo |
mistralai/Voxtral-Mini-3B-2507 | 0,14 puntos por detrás de Whisper en el resultado global | 1,68 puntos de WER | 4,38 en la región central frente a 6,06 en el este |
ibm-granite/granite-speech-3.3-2b | Incluido en el análisis regional | No especificada | El norte fue su región más débil |
microsoft/VibeVoice-ASR-HF | Incluido en el análisis regional | No especificada | El sur fue su región más débil |
La mayor amplitud refleja una variabilidad regional más alta en Voxtral, no cuatro veces más errores de transcripción. Además, las debilidades regionales cambian según el modelo, lo que apunta a sensibilidades específicas de cada sistema, aunque no permite demostrar cuál es su causa.
El usuario real @FoucqueThomas destacó la misma diferencia tras el lanzamiento:
“⚡ L'Open ASR Leaderboard ajoute l'hindi et l'anglais indien (4 888 locuteurs, 12 attributs/clip). Résultat : deux modèles quasi identiques sur le WER global affichent jusqu'à ~4x d'écart selon la région du locuteur. Un benchmark enfin honnête sur la diversité vocale.” — @FoucqueThomas en X
Si los usuarios se concentran en una región concreta, un empate en la puntuación agregada no basta para elegir entre modelos. El ejemplo no demuestra que un desequilibrio específico en los datos de entrenamiento sea la causa del patrón regional.
Por qué la puntuación basada en retículas importa al evaluar ASR multilingüe
El WER estándar presupone una referencia canónica. Eso funciona para normalizar mayúsculas y ortografía, pero se queda corto con el hindi mezclado con inglés. Una salida válida puede utilizar una grafía en devanagari, una forma romanizada, una grafía de origen inglés o una segmentación distinta de las palabras compuestas.
Monsoon hi-IN aborda el problema mediante retículas de referencia: el lanzamiento oficial explica que las variantes candidatas se amplían, se revisan con lingüistas nativos y se filtran para conservar únicamente las formas coherentes con el enunciado. Así, una alternativa válida puede considerarse correcta en lugar de penalizarse por diferir de la transcripción elegida por un anotador.
El leaderboard utiliza Orthographically-Informed Word Error Rate (OIWER) para evaluar el hindi. Una variante aceptada cuenta como correcta, mientras que un error real de reconocimiento sí se penaliza. El commit de integración del leaderboard muestra cómo los datos en hindi y las vistas multilingües por idioma se incorporan a la aplicación.
Esta regla de puntuación puede cambiar el orden de los modelos. El anuncio oficial señala que aplanar las retículas de hindi y convertirlas en referencias únicas eleva las tasas de error de todos los sistemas probados, aunque no en la misma medida. Por tanto, un leaderboard multilingüe puede ser más justo desde el punto de vista lingüístico sin reducir todos los resultados a una única cifra universal.
Cómo usar el leaderboard actualizado para elegir modelo
Utiliza Monsoon como herramienta de cribado y diagnóstico, y valida después el candidato final con audio representativo de tu dominio.
- Usa el Average WER general para acotar la lista. El inglés indio ya influye en el promedio principal del leaderboard, así que los modelos que solo rinden bien con inglés leído o con variantes no indias quedan menos protegidos frente a una prueba conversacional con acentos indios.
- Comprueba la cobertura lingüística antes de comparar promedios multilingües. El código fuente del leaderboard muestra como
NAlos idiomas seleccionados que faltan e informa de un valor deCoveragecomo3/5; un modelo solo obtiene una posición multilingüe cuando es compatible con todos los idiomas seleccionados. Consulta el código de integración. - Segmenta los datos públicos de Monsoon usando los campos documentados. Compara distrito de origen, estado, ciudad, dispositivo u otros metadatos disponibles. Busca la dispersión y la concentración de fallos, no únicamente la mejor puntuación de un subgrupo.
- Valida con audio representativo de producción. Prueba la mezcla de teléfonos, las condiciones de ruido, los patrones de cambio de idioma, el VAD y la duración de las intervenciones que tendrás en producción. Los clips públicos de Monsoon duran de media menos de diez segundos, así que no pueden representar por sí solos todas las cargas de trabajo de un centro de llamadas, una reunión o un agente de voz.
En X, el profesional @PlimmApp advirtió que el VAD puede ocultar alucinaciones de silencio cuando la evaluación comienza con segmentos que ya contienen voz: “the vad step in your pipeline is also the blind spot… a model that emits fluent text over silence never gets charged for it.” Puedes leer el comentario completo. Los equipos que trabajan en dispositivos deberían evaluar por separado el VAD, la detección de finales de intervención y el tratamiento de alucinaciones.
Lo que Monsoon todavía no puede responder
- Escala y transferencia a audio largo: El conjunto público en-IN tiene 5,62 horas y el público hi-IN, 1,33 horas; la duración media de los clips es de 9,6 y 6,4 segundos, respectivamente. Las pequeñas diferencias de puntuación y el comportamiento con audio largo requieren una validación aparte.
- Representatividad nacional: Una cobertura amplia de distritos, estados y dispositivos no equivale a un censo ponderado por población de los hablantes de inglés indio o hindi.
- Explicaciones causales: Las asociaciones regionales no permiten determinar si la causa está en los datos de entrenamiento, la acústica, la fonética, la decodificación u otro factor.
- Capacidad predictiva de los splits privados: Los splits privados con separación entre hablantes están pensados para medir la generalización, pero sus ejemplos no pueden inspeccionarse de forma independiente.
- Ajuste al texto posterior: Las búsquedas, los subtítulos, la analítica y las transcripciones legales pueden requerir convenciones distintas de escritura, normalización, puntuación o cambio de idioma.
Preguntas frecuentes sobre Open ASR Leaderboard Monsoon
¿El inglés indio afecta al promedio principal del leaderboard?
Sí. Monsoon en-IN es una entrada predeterminada del leaderboard de inglés y contribuye al Average WER. Consulta el inventario de splits para ver sus tamaños público y privado.
¿El hindi forma parte de la clasificación principal?
El hindi aparece en la vista multilingüe. Los idiomas seleccionados que faltan se muestran como NA, y solo los modelos con cobertura completa de los idiomas seleccionados reciben una posición multilingüe.
¿Puedo descargar los conjuntos públicos y calcular sus puntuaciones?
Sí. Las fichas de en-IN y hi-IN incluyen ejemplos de carga. Usa una agregación a nivel de corpus y OIWER para las retículas de hindi.
¿Por qué el hindi no se evalúa con el WER normal?
Una referencia fija en hindi puede penalizar variantes válidas en devanagari, romanizadas, con mezcla de idiomas o con palabras compuestas. La retícula registra las formas aceptadas para cada segmento de la transcripción.
¿Un WER global más bajo significa que un modelo es mejor para todas las regiones de India?
No. El ejemplo oficial de en-IN muestra WER globales casi empatados, pero diferencias en la variación regional. Examina el comportamiento por subgrupos y prueba audio representativo antes de desplegar el modelo.
La decisión práctica
Usa en-IN para el cribado inicial, hi-IN y OIWER para las comparaciones en hindi o multilingües, y la dispersión regional como señal de riesgo cuando la variación sea grande. Después, valida el candidato final con el audio, el ruido, el comportamiento del VAD y las convenciones de texto que realmente generan tus usuarios.