Qwen Audio 3.0 Realtime: especificaciones, precios y acceso

Qwen Audio 3.0 Realtime es la capacidad de audio en tiempo real de la línea actual de Qwen: un modelo con el que puedes hablar y que te responde al instante, con una latencia lo suficientemente baja como para sentirse como una llamada telefónica. En la plataforma de Alibaba se ofrece a través de la Qwen3-Omni / Qwen3.5-Omni Realtime API (IDs de modelo como qwen3-omni-flash-realtime), con Qwen-TTS-Realtime para texto a voz puro y qwen3-asr-flash para transcripción. Los modelos omni Realtime alojados reconocen más de 100 idiomas, funcionan en full-duplex con interrupción y cuestan una fracción de centavo por minuto de conversación.

La forma más rápida de empezar es qwen3-omni-flash-realtime por WebSocket. A continuación se muestra qué hace cada modelo, cuánto cuesta, cómo se compara con OpenAI Realtime y Gemini Live, y cómo empezar. Cada especificación, precio e ID de modelo está vinculado a su fuente primaria, en su mayoría la documentación de Model Studio Realtime de Alibaba y la tarjeta del modelo Qwen3-Omni; los proveedores se mueven rápido aquí, así que confía en la fuente enlazada si alguna cifra ha cambiado.

Cómo se nombran los modelos de audio de Qwen

La línea de audio Qwen abarca varias generaciones, y conocer su linaje facilita elegir el modelo adecuado:

• Qwen-Audio (2023) y Qwen2-Audio eran modelos de *comprensión* de audio: audio de entrada, texto de salida. No respondían con voz.
• La generación actual integra el audio en los modelos omni. Qwen3-Omni y Qwen3.5-Omni toman texto, imágenes, audio y video, y generan tanto texto como habla natural.
• El comportamiento en tiempo real es una *capa de entrega*: los mismos modelos omni, llamados a través de la Realtime API, con IDs de modelo que terminan en -realtime.

Entonces, "Qwen Audio 3.0 Realtime" (como sea que lo puntúes) apunta a la familia Qwen3-Omni usada en tiempo real, y esa es la pila que cubre el resto de esta guía.

La pila de audio en tiempo real de Qwen, en tres capas

Ayuda dejar de pensar en un solo modelo y, en su lugar, pensar en una canalización. Una app de voz en producción normalmente toca tres modelos Qwen, y puedes usarlos juntos o de forma independiente.

1. Speech in — qwen3-asr-flash. Reconocimiento de voz en streaming sobre WebSocket, optimizado para subtítulos en vivo y front ends de agentes de voz. Transcribe en una gama de idiomas muy amplia y tiene un precio como un caballo de batalla económico para transcripción. 2. Conversación en tiempo real — qwen3.5-omni-flash-realtime, qwen3-omni-flash-realtime, qwen3.5-omni-plus-realtime. Este es el núcleo: entran audio (y fotogramas de video) y salen texto y voz sintetizada, a través de una conexión persistente que permanece abierta entre turnos en lugar de volver a abrirse por solicitud. 3. Speech out — Qwen-TTS-Realtime. Un modelo dedicado de texto a voz en streaming para cuando solo necesitas convertir texto en voz, por ejemplo, leer en voz alta una respuesta que produjo un LLM de texto.

Si usas el modelo omni Realtime para la capa intermedia, a menudo no necesitas llamadas ASR y TTS separadas, ya que gestiona la entrada y salida de voz de extremo a extremo. Los modelos separados existen para cuando quieres combinar y mezclar componentes (por ejemplo, tu propio STT más Qwen TTS).

Las especificaciones que realmente importan

Aquí están los números de la documentación de Model Studio Realtime, no de las páginas de marketing.

Algunos de estos merecen énfasis. La interrupción semántica significa que el modelo puede distinguir cuándo un usuario está interrumpiendo en lugar de simplemente asentir con "mm-hmm", lo que marca la diferencia entre un agente de voz natural y uno molesto. El soporte de WebRTC es importante si estás desarrollando en el navegador, porque se encarga por ti de la cancelación de eco y el jitter. Y la cifra de reconocimiento de 113 idiomas corresponde a la API alojada; la versión de pesos abiertos cubre un conjunto más reducido, como se señala a continuación.

En cuanto a la latencia: la ruta de streaming dedicada Qwen-TTS-Realtime apunta a aproximadamente 97 ms de latencia del primer paquete, según la documentación de streaming de Qwen3-TTS, que es la cifra que decide si el habla se siente instantánea. Esa cifra es el tiempo hasta el primer fragmento de audio, no una respuesta completa. Para el ciclo conversacional completo, el diseño Thinker–Talker está pensado para streaming; el informe técnico de Qwen3-Omni describe un diseño de múltiples codebooks orientado a minimizar la latencia, y las pruebas de la comunidad sitúan la respuesta de audio a audio en el rango de menos de 250 ms con turnos full-duplex e interrumpibles. Las cifras reales dependen de tu región, red y carga, así que mide sobre tu propio tráfico en lugar de confiar en una sola cifra destacada.

Precios de audio en tiempo real de Qwen, en números simples

Los precios alojados en tiempo real de Qwen son sustancialmente más bajos que las APIs cerradas de tiempo real. Estas son tarifas por millón de tokens (entrada / salida), como se muestran en el directorio de modelos DashScope de Portkey (un agregador de terceros que refleja las tarifas de Alibaba; confirma el número en vivo en la consola de Model Studio antes de comprometerte):

Lo que eso significa por llamada. El audio consume muchos tokens: aproximadamente 427 tokens por minuto de audio. Tome una conversación de voz de 10 minutos en la que el usuario habla durante 5 minutos y el modelo responde durante 5 minutos. En qwen3-omni-flash-realtime eso equivale a unos 2,135 tokens de entrada y 2,135 tokens de salida, así que aproximadamente $0.001 en + $0.004 en salida ≈ medio centavo por llamada de 10 minutos. Incluso a escala, el audio en tiempo real es barato; el costo que sorprende a la gente es el tiempo de conversación en el lado de la *salida*, ya que las respuestas habladas tienen un precio ~4x mayor que la entrada.

Dos cosas más antes de presupuestar:

• Existe una cuota gratuita, pero es regional. El endpoint de Singapur (internacional) ha ofrecido 1 millón de tokens de entrada y 1 millón de tokens de salida gratis durante 90 días; el endpoint de EE. UU. no. Las cuotas cambian, así que confirma la oferta actual en la consola de Model Studio para tu región antes de planificar en torno a ella.
• El nivel qwen3.5-omni usa tramos de precios según el tamaño de la solicitud, no una tarifa fija, así que una sola solicitud de gran contexto puede caer en una banda de precio distinta a la de varias solicitudes pequeñas. Prueba esto con el patrón real de tu tráfico antes de comprometerte.

Cómo se compara con OpenAI Realtime y Gemini Live

Entre los proveedores de LLM de frontera de propósito general, las tres opciones obvias de voz a voz en tiempo real a mediados de 2026 son la Realtime API de OpenAI, Gemini Live de Google y la familia omni Realtime de Qwen. (Proveedores especializados de voz como ElevenLabs, Deepgram, Cartesia y Hume compiten con fuerza específicamente en TTS y STT; esta comparación trata sobre la ruta completa del modelo multimodal). En lugar de citar precios de la competencia que cambian mes a mes, así es como hay que razonar sobre la elección:

• Costo. A las tarifas por llamada mostradas arriba, el precio en tiempo real de Qwen se sitúa en el extremo inferior de las opciones de modelos frontier alojados. En contraste, el audio en tiempo real de OpenAI ha rondado $0.06 por minuto de entrada y $0.24 por minuto de salida (desglose de precios aquí); sobre esa base, la misma llamada de 10 minutos que cuesta aproximadamente medio centavo en qwen3-omni-flash-realtime se acerca más a $1.50 en OpenAI. Confirma las tarifas en vivo de ambos lados antes de confiar en la diferencia, ya que todo esto cambia, pero la brecha es grande. Qwen también es el único de los tres con una versión de pesos abiertos que puedes autoalojar para llevar el costo marginal casi a cero.
• Apertura. OpenAI Realtime y Gemini Live son solo APIs cerradas. Qwen3-Omni se distribuye con pesos abiertos, así que puedes pasar de alojado a autoalojado sin reescribir tu aplicación alrededor del comportamiento de un nuevo modelo.
• Calidad. La cobertura de terceros informa que el nivel superior qwen3.5-omni-plus iguala o supera a Gemini 3.1 Pro en algunos benchmarks de comprensión de audio; toma cualquier benchmark individual como una hipótesis inicial y pruébalo con tu propio audio.
• Ecosistema. OpenAI y Google tienen hoy herramientas, SDKs y ejemplos de la comunidad más profundos. La documentación de Qwen es sólida, pero dependerás más de la especificación bruta de WebSocket/WebRTC.

La lectura práctica: si el coste o la opción de autoalojamiento importan, Qwen es la opción más sólida. Si quieres la experiencia de SDK más madura y estás dispuesto a pagar por ella, las opciones de OpenAI y Google siguen liderando en pulido. Para un desglose completo de costes de las alternativas cerradas, consulta la lectura relacionada a continuación.

¿Qué variante deberías elegir?

Los niveles 3.5 añaden clonación de voz y límites más amplios de contexto y diálogo (hasta 100 turnos y 600 segundos de audio retenido) frente al más ligero qwen3-omni-flash (8 turnos). Si estás creando un prototipo, empieza con Flash; pasa a Plus solo cuando alcances un límite que puedas identificar.

Cómo acceder a él

Alojado, la forma directa. Aprovisiona una clave API en Alibaba Cloud Model Studio, luego abre una conexión WebSocket con autenticación Bearer (o negocia WebRTC mediante un POST de SDP para aplicaciones de navegador). Envías audio PCM en streaming y recibes audio PCM más texto. El DashScope Python SDK envuelve la interfaz Realtime si prefieres no gestionar el socket manualmente. La conexión básica es corta (esbozo, omitiendo el manejo de errores):

```python import os, json, base64, websocket

MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )

# 1. configurar la sesión: voice, output format, server-side turn detection ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))

# 2. transmitir audio del micrófono como fotogramas PCM de 16 kHz en base64 ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))

# 3. leer eventos de vuelta; response.audio.delta transporta PCM 24 kHz para reproducir mientras True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```

Con VAD del lado del servidor, el modelo decide cuándo el usuario ha dejado de hablar; cambie a manual si desea controlar usted mismo los límites de turno. El flujo de eventos sigue de cerca la estructura de OpenAI Realtime, por lo que el código existente del cliente Realtime se adapta con pequeños cambios. Confirme los nombres exactos de los campos, la lista de voces y el host del endpoint regional en la documentación de Realtime antes de lanzarlo, ya que difieren entre las implementaciones de Singapur y de EE. UU. y evolucionan con la API.

Autoalojado. El modelo de peso abierto Qwen3-Omni utiliza un diseño Mixture-of-Experts de Thinker–Talker (30B en total, ~3B activos). Alibaba recomienda vLLM en lugar de Transformers puro para él. Para la inferencia BF16 del modelo completo de 30B, guías de despliegue de terceros sitúan el mínimo en una sola tarjeta de 80GB (A100 o H100); una tarjeta de 24 GB como una RTX 4090 no es suficiente para los pesos completos, aunque las versiones cuantizadas reducen ese requisito.

La cuestión es que el servicio en tiempo real es más difícil que la inferencia por lotes. Quienes alojan sus propios sistemas informan que tienen que limitar la caché KV para evitar bloqueos bajo carga concurrente, y que el rendimiento de tokens por tarjeta única queda por detrás de la API alojada. Las pilas de servicio ajustadas para streaming acortan gran parte de esa diferencia: ingenieros que trabajan en Red Hat AI y vLLM han informado que superponer las etapas del pipeline reduce la generación de voz para un clip de 3 segundos de aproximadamente 8 segundos a alrededor de 0.5. Eso es una ganancia real, pero requiere ingeniería adicional. El autoalojamiento elimina el costo por token, pero añade costos de GPU y de operaciones, así que compensa a gran volumen y de forma constante, más que para prototipos.

Para voz omnicanal en tiempo real hoy, el endpoint de DashScope es la ruta canónica. Si tu stack ya enruta varios proveedores a través de una sola puerta de enlace, un agregador puede situarse delante de ella, pero confirma primero que los IDs específicos de los modelos Qwen realtime estén en su catálogo, ya que muchos relays incluyen modelos de texto e imagen sin el nivel de audio realtime.

Límites que vale la pena conocer antes de construir sobre ello

• Las sesiones tienen un límite de 120 minutos. Para cualquier cosa más larga, como una línea de soporte o una sesión de tutoría prolongada, necesitas lógica de reconexión que mantenga el contexto entre sockets.
• La región afecta tanto la cuota gratuita como la disponibilidad. Prueba contra el endpoint al que vas a desplegar, no contra el primero en el que te registraste.
• Las versiones alojada y de pesos abiertos no son idénticas. La API alojada anuncia reconocimiento en 113 idiomas y generación en 36 idiomas; la versión Qwen3-Omni de pesos abiertos cubre un conjunto más reducido (19 idiomas de entrada de voz y 10 idiomas de salida de voz). Si un idioma específico es tu requisito, verifícalo en la variante exacta que planeas publicar.
• El coste en tiempo real escala con el tiempo de conversación, no con las solicitudes. Como el audio consume muchos tokens, un usuario hablador cuesta más que uno conciso. Calcula tu factura en minutos de conversación, no en número de llamadas.

Preguntas frecuentes

¿Qwen 3 admite audio?

Sí. Los modelos Qwen3-Omni son nativamente multimodales: reciben audio, texto, imágenes y video como entrada y pueden responder en tiempo real en texto o voz.

¿Puede Qwen generar audio (no solo entenderlo)?

Sí. A diferencia del Qwen-Audio original, que solo producía texto, los modelos omni Realtime y Qwen-TTS-Realtime generan salida de audio hablada, incluidas voces clonadas en el nivel 3.5.

¿Es gratuito el audio en tiempo real de Qwen?

Hay una cuota de prueba gratuita, históricamente 1 millón de tokens de entrada y 1 millón de tokens de salida durante 90 días en el endpoint internacional (Singapur). Más allá de eso, se paga por token, y el completamente open-weight Qwen3-Omni es gratuito para ejecutar si proporcionas tu propia GPU.

¿Cómo ejecuto Qwen audio localmente?

Descarga el modelo de peso abierto Qwen3-Omni (30B-A3B) y sírvelo con vLLM. Para el modelo completo en BF16 necesitarás aproximadamente una tarjeta de 80GB (A100 o H100); las GPUs de consumo más pequeñas solo pueden manejar compilaciones cuantizadas, no los pesos completos.

Lecturas relacionadas

Fuentes primarias:

• Documentación de la API Realtime de Alibaba Model Studio
• Ficha del modelo Qwen3-Omni y pesos abiertos (GitHub)

Cómo se comparan los precios de las alternativas:

• Precios de la OpenAI Realtime API
• Gemini 3.5 Live Translate
• Reseña de Seed Audio