Qwen Audio 3.0 Realtime: specifiche, prezzi e accesso

Qwen Audio 3.0 Realtime è la funzionalità audio in tempo reale della gamma attuale di Qwen: un modello con cui puoi parlare e che ti risponde nello stesso istante, con una latenza abbastanza bassa da sembrare una telefonata. Sulla piattaforma di Alibaba viene fornito tramite la Qwen3-Omni / Qwen3.5-Omni Realtime API (ID modello come qwen3-omni-flash-realtime), con Qwen-TTS-Realtime per il puro text-to-speech e qwen3-asr-flash per la trascrizione. I modelli omni Realtime ospitati riconoscono oltre 100 lingue, funzionano in full-duplex con interruzione e costano una frazione di centesimo per minuto di conversazione.

Il modo più rapido per iniziare è qwen3-omni-flash-realtime tramite WebSocket. Di seguito viene descritto cosa fa ciascun modello, quanto costa, come si confronta con OpenAI Realtime e Gemini Live, e come iniziare. Ogni specifica, prezzo e ID del modello è collegato alla sua fonte primaria, per lo più la documentazione Model Studio Realtime di Alibaba e la model card di Qwen3-Omni; i fornitori si muovono rapidamente in quest'ambito, quindi fidati della fonte collegata se un valore è cambiato.

Come vengono denominati i modelli audio Qwen

La linea audio Qwen attraversa alcune generazioni e conoscere la genealogia rende facile scegliere il modello giusto:

• Qwen-Audio (2023) e Qwen2-Audio erano modelli di *comprensione* audio: audio in ingresso, testo in uscita. Non rispondevano con la voce.
• La generazione attuale integra l'audio nei modelli omni. Qwen3-Omni e Qwen3.5-Omni accettano testo, immagini, audio e video e generano sia testo sia voce naturale.
• Il comportamento in tempo reale è un *livello di erogazione*: gli stessi modelli omni, chiamati tramite la Realtime API, con ID dei modelli che terminano in -realtime.

Quindi "Qwen Audio 3.0 Realtime" (comunque lo si punteggi) si riferisce alla famiglia Qwen3-Omni utilizzata in tempo reale, ed è quello lo stack che il resto di questa guida copre.

Lo stack audio in tempo reale di Qwen, in tre livelli

Aiuta a smettere di pensare a un singolo modello e invece a pensare a una pipeline. Un'app vocale in produzione di solito coinvolge tre modelli Qwen, e puoi usarli insieme o in modo indipendente.

1. Speech in — qwen3-asr-flash. Riconoscimento vocale in streaming tramite WebSocket, ottimizzato per sottotitoli in tempo reale e front-end per voice agent. Trascrive in un intervallo linguistico molto ampio ed è prezzato come un cavallo da lavoro economico per la trascrizione. 2. Conversazione in tempo reale — qwen3.5-omni-flash-realtime, qwen3-omni-flash-realtime, qwen3.5-omni-plus-realtime. Questo è il nucleo: in ingresso audio (e frame video), in uscita testo e voce sintetizzata, tramite una connessione persistente che resta aperta tra i turni invece di essere riaperta a ogni richiesta. 3. Speech out — Qwen-TTS-Realtime. Un modello dedicato di text-to-speech in streaming, per quando devi solo trasformare testo in voce, ad esempio leggendo ad alta voce una risposta prodotta da un LLM testuale.

Se usi il modello omni Realtime per il livello intermedio, spesso non hai bisogno di chiamate separate ASR e TTS, poiché gestisce speech-in e speech-out end to end. I modelli separati esistono per quando vuoi combinare e abbinare (ad esempio, il tuo STT con Qwen TTS).

Le specifiche che contano davvero

Ecco i numeri della documentazione di Model Studio Realtime, non delle pagine di marketing.

Alcuni di questi meritano di essere evidenziati. Interruzione semantica significa che il modello può capire quando un utente sta interrompendo rispetto a quando sta solo dando segnali di ascolto con "mm-hmm", che è la differenza tra un voice agent naturale e uno fastidioso. Il supporto WebRTC è importante se state sviluppando nel browser, perché gestisce per voi la cancellazione dell'eco e il jitter. E il dato di riconoscimento in 113 lingue riguarda la API ospitata; la release open-weight copre un insieme più ristretto, come notato qui sotto.

Per quanto riguarda la latenza: il percorso di streaming dedicato Qwen-TTS-Realtime punta a una latenza del primo pacchetto di circa 97 ms, secondo la documentazione di streaming di Qwen3-TTS, che è il valore che determina se il parlato sembra istantaneo. Quel dato rappresenta il tempo fino al primo blocco audio, non una risposta completa. Per il ciclo conversazionale completo, il design Thinker–Talker è pensato per lo streaming; il rapporto tecnico di Qwen3-Omni descrive un design multi-codebook finalizzato a ridurre al minimo la latenza, e i test della community collocano la risposta audio-audio nell’intervallo sotto i 250 ms con turni full-duplex e interrompibili. I valori reali dipendono dalla tua regione, dalla rete e dal carico, quindi misura sul tuo traffico invece di fidarti di un singolo numero in evidenza.

Prezzi audio in tempo reale di Qwen, in numeri semplici

I prezzi realtime hosted di Qwen sono sostanzialmente inferiori rispetto alle API realtime closed. Questi sono i tariffe per milione di token (input / output), come elencate su la directory dei modelli DashScope di Portkey (un aggregatore di terze parti che rispecchia le tariffe di Alibaba; conferma il numero live nella console di Model Studio prima di procedere):

Cosa significa per chiamata. L’audio richiede molti token: circa 427 token al minuto di audio. Prendi una conversazione vocale di 10 minuti in cui l’utente parla per 5 minuti e il modello risponde per 5 minuti. Su qwen3-omni-flash-realtime questo corrisponde a circa 2.135 token in input e 2.135 token in output, quindi all’incirca $0.001 in + $0.004 out ≈ mezzo centesimo per chiamata da 10 minuti. Anche su larga scala, l’audio in tempo reale è economico; il costo che sorprende le persone è il tempo di conversazione dal lato *output*, poiché le risposte vocali hanno un prezzo circa 4x rispetto all’input.

Ancora due cose prima di fare il budget:

• Esiste una quota gratuita, ma è regionale. L'endpoint di Singapore (internazionale) ha offerto 1 milione di token di input e 1 milione di token di output gratuiti per 90 giorni; l'endpoint statunitense no. Le quote cambiano, quindi verifica l'offerta attuale nella console di Model Studio per la tua regione prima di pianificare in base ad essa.
• Il livello qwen3.5-omni utilizza fasce di prezzo basate sulla dimensione della richiesta, non una tariffa fissa, quindi una singola richiesta con contesto molto ampio può rientrare in una fascia di prezzo diversa rispetto a diverse richieste più piccole. Testalo con il tuo reale profilo di traffico prima di impegnarti.

Come si confronta con OpenAI Realtime e Gemini Live

Tra i vendor di LLM general-purpose di frontiera, le tre opzioni evidenti di speech-to-speech in tempo reale a metà 2026 sono la Realtime API di OpenAI, Gemini Live di Google e la famiglia omni Realtime di Qwen. (I provider vocali specializzati come ElevenLabs, Deepgram, Cartesia e Hume competono con forza in particolare su TTS e STT; questo confronto riguarda invece l’approccio completo basato su modelli multimodali.) Piuttosto che citare i prezzi dei concorrenti, che cambiano ogni mese, ecco come ragionare sulla scelta:

• Costo. Alle tariffe per chiamata mostrate sopra, il prezzo realtime di Qwen si colloca nella fascia bassa delle opzioni hosted per modelli frontier. A titolo di confronto, l'audio Realtime di OpenAI è stato intorno a $0.06 per minuto di input e $0.24 per minuto di output (dettaglio dei prezzi qui); su questa base, la stessa chiamata di 10 minuti che costa circa mezzo centesimo su qwen3-omni-flash-realtime arriva più vicino a $1.50 su OpenAI. Verifica le tariffe aggiornate su entrambi i fronti prima di fare affidamento sul divario, dato che tutto questo cambia, ma la differenza è ampia. Qwen è anche l'unico dei tre con una versione open-weight che puoi auto-ospitare per portare il costo marginale verso lo zero.
• Apertura. OpenAI Realtime e Gemini Live sono solo API chiuse. Qwen3-Omni viene fornito con pesi aperti, quindi puoi passare da hosted ad auto-ospitato senza riscrivere la tua app attorno al comportamento di un nuovo modello.
• Qualità. La copertura di terze parti riporta che il livello superiore qwen3.5-omni-plus eguaglia o supera Gemini 3.1 Pro in alcuni benchmark di comprensione audio; considera qualsiasi singolo benchmark come un'ipotesi iniziale e testa sui tuoi audio.
• Ecosistema. Oggi OpenAI e Google hanno tooling, SDK ed esempi della community più avanzati. La documentazione di Qwen è solida, ma dovrai fare più affidamento sulla specifica grezza di WebSocket/WebRTC.

In sintesi pratica: se il costo o la possibilità di ospitare in proprio sono importanti, Qwen è la scelta più forte. Se vuoi l’esperienza SDK più matura e sei disposto a pagarla, le opzioni OpenAI e Google restano in testa per rifinitura. Per un’analisi completa dei costi delle alternative closed, consulta la lettura correlata qui sotto.

Quale variante dovresti scegliere?

I livelli 3.5 aggiungono il cloning vocale e limiti più ampi di contesto e dialogo (fino a 100 turni e 600 secondi di audio mantenuto) rispetto al più leggero qwen3-omni-flash (8 turni). Se stai prototipando, inizia con Flash; passa a Plus solo quando raggiungi un limite che puoi identificare con precisione.

Come accedervi

Hosted, il modo diretto. Provisiona una chiave API in Alibaba Cloud Model Studio, quindi apri una connessione WebSocket con autenticazione Bearer (oppure negozia WebRTC tramite un POST SDP per le app browser). Trasmetti audio PCM in ingresso e ricevi audio PCM più testo in uscita. Il DashScope Python SDK incapsula l'interfaccia Realtime se preferisci non gestire manualmente il socket. La connessione di base è breve (schizzo, gestione degli errori omessa):

```python import os, json, base64, websocket

MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )

# 1. configura la sessione: voce, formato di output, rilevamento dei turni lato server ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))

# 2. trasmetti l'audio del microfono come frame PCM 16 kHz base64 ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))

# 3. leggere gli eventi; response.audio.delta trasporta PCM a 24 kHz da riprodurre while True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```

Con VAD lato server il modello decide quando l’utente ha smesso di parlare; passa a manuale se vuoi controllare tu i confini dei turni. Il flusso degli eventi segue da vicino la struttura OpenAI Realtime, quindi il codice client Realtime esistente viene portato con piccole modifiche. Verifica i nomi esatti dei campi, l’elenco delle voci e l’host dell’endpoint regionale nelle documentazioni Realtime prima del rilascio, poiché differiscono tra le distribuzioni Singapore e US ed evolvono con l’API.

Self-hosted. L’open-weight Qwen3-Omni utilizza un design Mixture-of-Experts Thinker–Talker (30B totali, ~3B attivi). Alibaba raccomanda vLLM invece dei semplici Transformers per questo modello. Per l’inferenza BF16 dell’intero modello da 30B, le guide di deployment di terze parti indicano come requisito minimo una singola scheda da 80GB (A100 o H100); una scheda da 24 GB come una RTX 4090 non è sufficiente per i pesi completi, anche se le build quantizzate abbassano tale soglia.

Il punto è che il serving in tempo reale è più difficile dell’inferenza batch. Chi ospita autonomamente segnala di dover limitare la KV cache per evitare blocchi sotto carico concorrente e una throughput dei token su singola scheda inferiore rispetto all’API ospitata. Gli stack di serving ottimizzati per lo streaming colmano gran parte di quel divario: gli ingegneri che lavorano su Red Hat AI e vLLM hanno riferito che sovrapporre le fasi della pipeline riduce la generazione vocale per una clip di 3 secondi da circa 8 secondi a circa 0,5. Questo è un guadagno reale, ma richiede ulteriore lavoro ingegneristico. L’hosting autonomo elimina il costo per token ma aggiunge costi GPU e operativi, quindi conviene con volumi elevati e costanti più che per i prototipi.

Per la voce omni in tempo reale oggi, l'endpoint DashScope è il percorso canonico. Se il tuo stack instrada già più provider attraverso un unico gateway, un aggregatore può posizionarsi davanti ad esso, ma verifica prima che i specifici ID dei modelli Qwen realtime siano nel suo catalogo, poiché molti relay includono modelli di testo e immagini senza il livello audio realtime.

Limiti che vale la pena conoscere prima di svilupparci sopra

• Le sessioni hanno un limite di 120 minuti. Per tutto ciò che è più lungo, come una linea di supporto o una lunga sessione di tutoraggio, serve una logica di riconnessione che mantenga il contesto tra i socket.
• La regione influisce sia sulla quota gratuita sia sulla disponibilità. Verifica l’endpoint su cui effettivamente distribuirai il servizio, non quello su cui ti sei registrato per primo.
• Hosted e open-weight non sono identici. L’API hosted dichiara il riconoscimento di 113 lingue e la generazione di 36 lingue; la release di Qwen3-Omni open-weight copre un insieme più ristretto (19 lingue di input vocale e 10 lingue di output vocale). Se una lingua specifica è il tuo requisito, verificane il supporto nella variante esatta che prevedi di distribuire.
• Il costo in tempo reale scala con il tempo di conversazione, non con le richieste. Poiché l’audio è molto pesante in termini di token, un utente loquace costa più di uno conciso. Calcola la tua bolletta in base ai minuti di conversazione, non al numero di chiamate.

Domande frequenti

Qwen 3 supporta l'audio?

Sì. I modelli Qwen3-Omni sono nativamente multimodali: accettano audio, testo, immagini e video come input e possono rispondere in tempo reale con testo o voce.

Qwen può generare audio (non solo comprenderlo)?

Sì. A differenza del Qwen-Audio originale, che produceva solo testo, i modelli omni Realtime e Qwen-TTS-Realtime generano output audio parlato, incluse voci clonate nel tier 3.5.

Qwen audio in tempo reale è gratuito?

È disponibile una quota di prova gratuita, storicamente 1 milione di token di input e 1 milione di token di output per 90 giorni sull'endpoint internazionale (Singapore). Oltre tale limite, il costo è a consumo per token, e il modello Qwen3-Omni completamente open-weight è gratuito da eseguire se fornisci una tua GPU.

Come posso eseguire Qwen audio in locale?

Scarica l'Qwen3-Omni open-weight (30B-A3B) e servilo con vLLM. Per il modello completo in BF16 ti servirà approssimativamente una scheda da 80 GB (A100 o H100); le GPU consumer più piccole gestiscono solo build quantizzate, non i pesi completi.

Letture correlate

Fonti primarie:

• Documentazione API di Alibaba Model Studio Realtime
• Scheda del modello Qwen3-Omni e pesi aperti (GitHub)

Come si prezzano le alternative:

• Prezzi dell'OpenAI Realtime API
• Gemini 3.5 Live Translate
• Recensione di Seed Audio