Qwen Audio 3.0 Realtime : caractéristiques, tarifs et accès

Qwen Audio 3.0 Realtime est la capacité audio en temps réel de la gamme actuelle de Qwen : un modèle à qui vous pouvez parler et qui vous répond dans la même respiration, avec une latence suffisamment faible pour donner l’impression d’un appel téléphonique. Sur la plateforme d’Alibaba, il est proposé via l’API Qwen3-Omni / Qwen3.5-Omni Realtime (avec des ID de modèle comme qwen3-omni-flash-realtime), avec Qwen-TTS-Realtime pour la synthèse vocale pure et qwen3-asr-flash pour la transcription. Les modèles omni Realtime hébergés reconnaissent plus de 100 langues, fonctionnent en full-duplex avec interruption, et coûtent une fraction de centime par minute de conversation.

Le moyen le plus rapide d’y accéder est qwen3-omni-flash-realtime via WebSocket. Ci-dessous se trouve ce que fait chaque modèle, son coût, comment il se compare à OpenAI Realtime et Gemini Live, et comment commencer. Chaque spécification, prix et identifiant de modèle est lié à sa source primaire, principalement la documentation Model Studio Realtime d’Alibaba et la fiche du modèle Qwen3-Omni ; les fournisseurs évoluent rapidement dans ce domaine, donc faites confiance à la source liée si une valeur a changé.

Comment les modèles audio Qwen sont nommés

La gamme audio Qwen s’étend sur plusieurs générations, et connaître la lignée permet de choisir facilement le bon modèle :

• Qwen-Audio (2023) et Qwen2-Audio étaient des modèles de *compréhension* audio : audio en entrée, texte en sortie. Ils ne répondaient pas oralement.
• La génération actuelle intègre l’audio dans les modèles omni. Qwen3-Omni et Qwen3.5-Omni prennent du texte, des images, de l’audio et de la vidéo, et génèrent à la fois du texte et de la parole naturelle.
• Le comportement en temps réel est une *couche de diffusion* : les mêmes modèles omni, appelés via la Realtime API, avec des ID de modèle se terminant par -realtime.

Donc « Qwen Audio 3.0 Realtime » (quelle que soit la ponctuation que vous lui donnez) renvoie à la famille Qwen3-Omni utilisée en temps réel, et c’est la stack que le reste de ce guide couvre.

La pile audio temps réel de Qwen, en trois couches

Il est utile d’arrêter de penser à un seul modèle et de penser plutôt à une pipeline. Une application vocale de production touche généralement trois modèles Qwen, et vous pouvez les utiliser ensemble ou indépendamment.

1. Voix entrante — qwen3-asr-flash. Reconnaissance vocale en streaming via WebSocket, optimisée pour les sous-titres en direct et les interfaces d’agents vocaux. Elle transcrit dans une très large gamme de langues et est proposée comme un outil de transcription économique. 2. Conversation en temps réel — qwen3.5-omni-flash-realtime, qwen3-omni-flash-realtime, qwen3.5-omni-plus-realtime. C’est le cœur du système : l’audio (et les images vidéo) entrent, le texte et la parole synthétisée sortent, via une connexion persistante qui reste ouverte d’un tour à l’autre au lieu d’être rouverte à chaque requête. 3. Voix sortante — Qwen-TTS-Realtime. Un modèle dédié de synthèse vocale en streaming, à utiliser lorsque vous avez seulement besoin de convertir du texte en voix, par exemple pour lire une réponse produite par un LLM textuel.

Si vous utilisez le modèle omni Realtime pour la couche intermédiaire, vous n’avez souvent pas besoin d’appels ASR et TTS séparés, car il gère l’entrée et la sortie vocales de bout en bout. Les modèles séparés existent lorsque vous voulez combiner et assortir (par exemple, votre propre STT plus Qwen TTS).

Les caractéristiques qui comptent vraiment

Voici les chiffres de la documentation Model Studio Realtime, et non des pages marketing.

Quelques-uns de ces points méritent d’être soulignés. L’interruption sémantique signifie que le modèle peut distinguer quand un utilisateur coupe la parole de quand il fait simplement des retours d’écoute comme « mm-hmm », ce qui fait la différence entre un agent vocal naturel et un agent agaçant. La prise en charge de WebRTC est importante si vous développez dans le navigateur, car elle gère pour vous l’annulation de l’écho et le jitter. Et le chiffre de reconnaissance de 113 langues concerne l’API hébergée ; la version open-weight couvre un ensemble plus restreint, comme indiqué ci-dessous.

En ce qui concerne la latence : le chemin de streaming dédié Qwen-TTS-Realtime vise environ 97 ms de latence au premier paquet, selon la documentation de streaming Qwen3-TTS, qui est le chiffre qui détermine si la parole semble instantanée. Ce chiffre correspond au temps jusqu’au premier bloc audio, et non à une réponse complète. Pour la boucle conversationnelle complète, la conception Thinker–Talker est pensée pour le streaming ; le rapport technique Qwen3-Omni décrit une conception multi-codebooks visant à minimiser la latence, et les tests de la communauté placent la réponse audio-à-audio dans la plage des moins de 250 ms avec des tours full-duplex interrompables. Les valeurs réelles dépendent de votre région, de votre réseau et de la charge, alors mesurez sur votre propre trafic plutôt que de vous fier à un seul chiffre vedette.

Tarification audio en temps réel de Qwen, en chiffres simples

Les prix en temps réel hébergés de Qwen sont nettement inférieurs à ceux des APIs realtime fermées. Il s’agit de tarifs par million de tokens (entrée / sortie), tels qu’indiqués dans le répertoire des modèles DashScope de Portkey (un agrégateur tiers qui réplique les tarifs d’Alibaba ; confirmez le montant en direct dans la console Model Studio avant de vous engager) :

Ce que cela signifie par appel. L’audio est gourmand en jetons : environ 427 jetons par minute d’audio. Prenons une conversation vocale de 10 minutes où l’utilisateur parle pendant 5 minutes et le modèle répond pendant 5 minutes. Sur qwen3-omni-flash-realtime, cela représente environ 2 135 jetons en entrée et 2 135 jetons en sortie, soit environ 0,001 $ en entrée + 0,004 $ en sortie ≈ un demi-cent par appel de 10 minutes. Même à grande échelle, l’audio en temps réel est bon marché ; ce qui surprend les gens, c’est le temps de parole du côté *sortie*, car les réponses vocales sont facturées à un tarif environ 4 fois supérieur à celui de l’entrée.

Deux autres choses avant que vous établissiez votre budget :

• Un quota gratuit existe, mais il est régional. Le point de terminaison de Singapour (international) a proposé 1 million de jetons en entrée et 1 million de jetons en sortie gratuits pendant 90 jours ; le point de terminaison américain ne l’a pas fait. Les quotas changent, alors vérifiez l’offre actuelle dans la console Model Studio pour votre région avant de vous y fier dans votre planification.
• Le niveau qwen3.5-omni utilise des tranches de tarification basées sur la taille de la requête, et non un tarif fixe ; ainsi, une seule requête de grand contexte peut relever d’une tranche de prix différente de plusieurs petites. Testez cela avec la forme réelle de votre trafic avant de vous engager.

Comment il se compare à OpenAI Realtime et Gemini Live

Parmi les fournisseurs de LLM généralistes de pointe, les trois options évidentes de speech-to-speech en temps réel à la mi-2026 sont l’API Realtime d’OpenAI, Gemini Live de Google et la famille omni Realtime de Qwen. (Les fournisseurs vocaux spécialisés tels qu’ElevenLabs, Deepgram, Cartesia et Hume se livrent une forte concurrence sur le TTS et le STT en particulier ; cette comparaison porte sur l’approche complète via un modèle multimodal.) Plutôt que de citer des prix concurrents qui changent chaque mois, voici comment raisonner votre choix :

• Coût. Aux tarifs par appel indiqués ci-dessus, la tarification temps réel de Qwen se situe dans le bas de la fourchette des options de modèles de pointe hébergés. À titre de comparaison, l’audio Realtime d’OpenAI s’est situé autour de 0,06 $ par minute d’entrée et 0,24 $ par minute de sortie (détail de la tarification ici) ; sur cette base, le même appel de 10 minutes, qui coûte environ un demi-cent sur qwen3-omni-flash-realtime, revient plutôt à 1,50 $ chez OpenAI. Vérifiez les tarifs en direct des deux côtés avant de vous fier à cet écart, car tout cela évolue, mais l’écart est important. Qwen est aussi le seul des trois à proposer une version open-weight que vous pouvez auto-héberger pour faire baisser le coût marginal jusqu’à presque zéro.
• Ouverture. OpenAI Realtime et Gemini Live sont uniquement des API fermées. Qwen3-Omni est fourni en open weights, vous pouvez donc passer d’un hébergement tiers à l’auto-hébergement sans réécrire votre application autour du comportement d’un nouveau modèle.
• Qualité. Des comptes rendus de sources tierces indiquent que le niveau supérieur qwen3.5-omni-plus égale ou dépasse Gemini 3.1 Pro sur certains benchmarks de compréhension audio ; considérez tout benchmark isolé comme une hypothèse de départ et testez sur votre propre audio.
• Écosystème. OpenAI et Google disposent aujourd’hui d’outils, de SDK et d’exemples communautaires plus développés. La documentation de Qwen est solide, mais vous vous appuierez davantage sur la spécification brute WebSocket/WebRTC.

En pratique : si le coût ou la possibilité d’auto-héberger sont importants, Qwen est le meilleur choix. Si vous souhaitez l’expérience SDK la plus mature et êtes prêt à payer pour cela, les options OpenAI et Google restent en tête en matière de finition. Pour une répartition complète des coûts des alternatives fermées, consultez la lecture associée ci-dessous.

Quelle variante devriez-vous choisir ?

Les niveaux 3.5 ajoutent le clonage vocal ainsi que des limites de contexte et de dialogue plus étendues (jusqu’à 100 échanges et 600 secondes d’audio conservé), contrairement au plus léger qwen3-omni-flash (8 échanges). Si vous êtes en phase de prototypage, commencez avec Flash ; passez à Plus uniquement lorsque vous atteignez une limite que vous pouvez nommer.

Comment y accéder

Hébergé, la manière directe. Provisionnez une clé API dans Alibaba Cloud Model Studio, puis ouvrez une connexion WebSocket avec une authentification Bearer (ou négociez WebRTC via un POST SDP pour les applications de navigateur). Vous diffusez l’audio PCM en entrée et recevez l’audio PCM ainsi que le texte en sortie. Le DashScope Python SDK encapsule l’interface Realtime si vous préférez ne pas gérer le socket manuellement. La connexion brute est courte (esquisse, gestion des erreurs omise) :

```python import os, json, base64, websocket

MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )

# 1. configurer la session: voix, format de sortie, détection de tour côté serveur ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))

# 2. diffuser l’audio du microphone en amont sous forme de trames PCM 16 kHz encodées en base64 ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))

# 3. lire les événements ; response.audio.delta transporte du PCM 24 kHz à lire while True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```

Avec le VAD côté serveur, le modèle décide quand l’utilisateur a cessé de parler ; passez en mode manuel si vous souhaitez contrôler vous-même les limites des tours de parole. Le flux d’événements suit de près la structure OpenAI Realtime, de sorte que le code client Realtime existant se porte avec de légères modifications. Confirmez les noms exacts des champs, la liste des voix et l’hôte du point de terminaison régional dans la documentation Realtime avant la mise en production, car ils diffèrent entre les déploiements de Singapour et des États-Unis et évoluent avec l’API.

Auto-hébergé. Le modèle open-weight Qwen3-Omni utilise une conception Mixture-of-Experts Thinker–Talker (30B au total, ~3B actifs). Alibaba recommande vLLM plutôt que de simples Transformers pour ce modèle. Pour l’inférence BF16 du modèle complet de 30B, les guides de déploiement tiers fixent le minimum à une seule carte de 80GB (A100 ou H100) ; une carte de 24 GB comme une RTX 4090 n’est pas suffisante pour les poids complets, bien que les versions quantifiées abaissent ce seuil.

Le hic, c’est que le service en temps réel est plus difficile que l’inférence par lots. Les utilisateurs en auto-hébergement signalent qu’ils doivent limiter le cache KV pour éviter les blocages sous charge concurrente, et qu’un débit de jetons sur une seule carte reste inférieur à celui de l’API hébergée. Les piles de diffusion réglées pour le streaming comblent une grande partie de cet écart : des ingénieurs travaillant sur Red Hat AI et vLLM ont indiqué que le chevauchement des étapes du pipeline réduit la génération vocale d’un clip de 3 secondes d’environ 8 secondes à environ 0,5 seconde. C’est un vrai gain, mais cela demande un effort d’ingénierie supplémentaire. L’auto-hébergement supprime le coût par jeton tout en ajoutant des coûts GPU et d’exploitation, ce qui le rend rentable à grand volume, de manière soutenue, plutôt que pour des prototypes.

Pour la voix omnicanale en temps réel aujourd’hui, le point de terminaison DashScope est la voie canonique. Si votre pile a déjà plusieurs fournisseurs acheminés via une seule passerelle, un agrégateur peut se placer devant, mais vérifiez d’abord que les ID de modèle Qwen realtime spécifiques figurent dans son catalogue, car de nombreux relais proposent des modèles de texte et d’image sans le niveau audio temps réel.

Limites à connaître avant de construire dessus

• Les sessions sont limitées à 120 minutes. Pour tout ce qui est plus long, comme une ligne d’assistance ou une longue session de tutorat, vous avez besoin d’une logique de reconnexion qui conserve le contexte entre les sockets.
• La région influe à la fois sur le quota gratuit et sur la disponibilité. Testez sur l’endpoint vers lequel vous allez déployer, et non sur celui auquel vous vous êtes inscrit en premier.
• Les versions hébergée et open-weight ne sont pas identiques. L’API hébergée annonce une reconnaissance dans 113 langues et une génération dans 36 langues ; la version open-weight Qwen3-Omni couvre un ensemble plus restreint (19 langues en entrée vocale et 10 langues en sortie vocale). Si une langue spécifique est votre exigence, vérifiez-la sur la variante exacte que vous prévoyez de mettre en production.
• Le coût en temps réel évolue en fonction du temps de parole, et non des requêtes. Comme l’audio est très riche en tokens, un utilisateur bavard coûte plus cher qu’un utilisateur concis. Estimez votre facture en minutes de conversation, et non en nombre d’appels.

Questions fréquemment posées

Qwen 3 prend-il en charge l'audio ?

Oui. Les modèles Qwen3-Omni sont nativement multimodaux : ils prennent en entrée de l’audio, du texte, des images et de la vidéo, et peuvent répondre en temps réel par texte ou par la voix.

Qwen peut-il générer de l'audio (pas seulement le comprendre) ?

Oui. Contrairement à l’original Qwen-Audio, qui ne produisait que du texte, les modèles omni Realtime et Qwen-TTS-Realtime génèrent une sortie audio parlée, y compris des voix clonées sur le niveau 3.5.

Qwen audio en temps réel est-il gratuit ?

Il existe un quota d’essai gratuit, historiquement 1 million de tokens d’entrée et 1 million de tokens de sortie pendant 90 jours sur le point de terminaison international (Singapour). Au-delà, la facturation se fait au token, et le modèle Qwen3-Omni entièrement open-weight est gratuit à exécuter si vous fournissez votre propre GPU.

Comment exécuter Qwen audio en local ?

Téléchargez le modèle open-weight Qwen3-Omni (30B-A3B) et servez-le avec vLLM. Pour le modèle complet en BF16, vous aurez besoin d’une carte d’environ 80 Go (A100 ou H100) ; les GPU grand public plus petits ne prennent en charge que les versions quantifiées, pas les poids complets.

Lectures associées

Sources principales :

• Documentation de l'API Alibaba Model Studio Realtime
• Fiche du modèle Qwen3-Omni et poids ouverts (GitHub)

Comment se comparent les alternatives en termes de prix :

• Tarification de l'OpenAI Realtime API
• Gemini 3.5 Live Translate
• Avis sur Seed Audio