Qwen Audio 3.0 Realtime: Especificações, Preços e Acesso

Qwen Audio 3.0 Realtime é a capacidade de áudio em tempo real da linha atual da Qwen: um modelo com o qual você pode conversar e que responde na mesma hora, com latência baixa o suficiente para parecer uma ligação telefônica. Na plataforma da Alibaba, ele é fornecido por meio da Qwen3-Omni / Qwen3.5-Omni Realtime API (IDs de modelo como qwen3-omni-flash-realtime), com Qwen-TTS-Realtime para texto-para-fala puro e qwen3-asr-flash para transcrição. Os modelos omni Realtime hospedados reconhecem mais de 100 idiomas, funcionam em full-duplex com interrupção e custam uma fração de centavo por minuto de conversa.

A forma mais rápida de começar é qwen3-omni-flash-realtime via WebSocket. Abaixo está o que cada modelo faz, quanto custa, como se compara com OpenAI Realtime e Gemini Live, e como começar. Cada especificação, preço e ID de modelo está vinculado à sua fonte primária, principalmente a documentação do Model Studio Realtime da Alibaba e ao model card do Qwen3-Omni; os fornecedores mudam rapidamente por aqui, então confie na fonte vinculada se algum número tiver mudado.

Como os modelos de áudio Qwen são nomeados

A linha de áudio Qwen percorre algumas gerações, e conhecer a linhagem facilita chegar ao modelo certo:

• Qwen-Audio (2023) e Qwen2-Audio eram modelos de *compreensão* de áudio: áudio de entrada, texto de saída. Eles não respondiam com voz.
• A geração atual integra áudio aos modelos omni. Qwen3-Omni e Qwen3.5-Omni aceitam texto, imagens, áudio e vídeo, e geram tanto texto quanto fala natural.
• O comportamento em tempo real é um *nível de entrega*: os mesmos modelos omni, acessados pela Realtime API, com IDs de modelo que terminam em -realtime.

Então, "Qwen Audio 3.0 Realtime" (seja lá como você o pontue) aponta para a família Qwen3-Omni usada em tempo real, e essa é a stack que o restante deste guia cobre.

A pilha de áudio em tempo real do Qwen, em três camadas

Ajuda parar de pensar em um único modelo e, em vez disso, pensar em um pipeline. Um app de voz em produção normalmente envolve três modelos Qwen, e você pode usá-los juntos ou de forma independente.

1. Fala em — qwen3-asr-flash. Reconhecimento de fala em streaming via WebSocket, ajustado para legendas ao vivo e front ends de agentes de voz. Transcreve em uma faixa de idiomas muito ampla e tem preço de um mecanismo barato de transcrição. 2. Conversa em tempo real — qwen3.5-omni-flash-realtime, qwen3-omni-flash-realtime, qwen3.5-omni-plus-realtime. Este é o núcleo: áudio (e frames de vídeo) entram, texto e fala sintetizada saem, por meio de uma conexão persistente que permanece aberta entre turnos, em vez de ser reaberta a cada solicitação. 3. Fala de saída — Qwen-TTS-Realtime. Um modelo dedicado de text-to-speech em streaming para quando você só precisa transformar texto em voz, por exemplo, lendo em voz alta uma resposta que um LLM de texto produziu.

Se você usa o modelo omni Realtime para a camada intermediária, muitas vezes não precisa de chamadas separadas de ASR e TTS, já que ele lida com entrada e saída de voz de ponta a ponta. Os modelos separados existem para quando você quer combinar e ajustar conforme necessário (por exemplo, seu próprio STT mais Qwen TTS).

As especificações que realmente importam

Aqui estão os números da documentação do Model Studio Realtime, não das páginas de marketing.

Alguns deles merecem destaque. Interrupção semântica significa que o modelo consegue identificar quando um usuário está interrompendo em vez de apenas dar sinais de atenção com "mm-hmm", o que faz a diferença entre um agente de voz natural e um irritante. O suporte a WebRTC é importante se você estiver desenvolvendo no navegador, porque ele lida com cancelamento de eco e jitter para você. E o número de reconhecimento de 113 idiomas é para a API hospedada; o lançamento com pesos abertos cobre um conjunto mais restrito, como observado abaixo.

Sobre latência: o caminho de streaming dedicado do Qwen-TTS-Realtime tem como meta aproximadamente 97 ms de latência do primeiro pacote, segundo a documentação de streaming do Qwen3-TTS, que é o número que decide se a fala parece instantânea. Esse valor é o tempo até o primeiro chunk de áudio, não uma resposta completa. Para o ciclo conversacional completo, o design Thinker–Talker foi feito para streaming; o relatório técnico do Qwen3-Omni descreve um design de múltiplos codebooks voltado a minimizar a latência, e testes da comunidade colocam a resposta de áudio para áudio na faixa de menos de 250 ms, com turnos full-duplex e interrompíveis. Os números reais dependem da sua região, da rede e da carga, então meça no seu próprio tráfego em vez de confiar em um único valor de manchete.

Preços de áudio em tempo real do Qwen, em números simples

Os preços de realtime hospedado da Qwen são substancialmente mais baixos do que as APIs realtime fechadas. Estas são tarifas por milhão de tokens (entrada / saída), conforme listado no diretório de modelos DashScope da Portkey (um agregador de terceiros que espelha as tarifas da Alibaba; confirme o valor em tempo real no console do Model Studio antes de se comprometer):

O que isso significa por chamada. Áudio consome muitos tokens: aproximadamente 427 tokens por minuto de áudio. Considere uma conversa de voz de 10 minutos em que o usuário fala por 5 minutos e o modelo responde por 5 minutos. Em qwen3-omni-flash-realtime, isso equivale a cerca de 2.135 tokens de entrada e 2.135 tokens de saída, ou seja, aproximadamente $0,001 de entrada + $0,004 de saída ≈ meio centavo por chamada de 10 minutos. Mesmo em grande escala, áudio em tempo real é barato; o custo que surpreende as pessoas é o tempo de fala no lado da *saída*, já que as respostas faladas têm preço ~4x maior que a entrada.

Duas coisas antes de você fazer seu orçamento:

• Existe uma cota gratuita, mas ela é regional. O endpoint de Singapura (internacional) ofereceu 1 milhão de tokens de entrada e 1 milhão de tokens de saída gratuitos por 90 dias; o endpoint dos EUA não. As cotas mudam, então confirme a oferta atual no console do Model Studio da sua região antes de planejar com base nisso.
• O nível qwen3.5-omni usa faixas de preço com base no tamanho da solicitação, e não uma tarifa fixa, então uma única solicitação de grande contexto pode cair em uma faixa de preço diferente de várias menores. Teste isso com o padrão real do seu tráfego antes de se comprometer.

Como ele se compara ao OpenAI Realtime e ao Gemini Live

Entre os fornecedores de LLM de uso geral de fronteira, as três opções óbvias de speech-to-speech em tempo real em meados de 2026 são a Realtime API da OpenAI, o Gemini Live do Google e a família omni Realtime da Qwen. (Provedores especializados de voz, como ElevenLabs, Deepgram, Cartesia e Hume, competem fortemente especificamente em TTS e STT; esta comparação trata da rota completa de modelo multimodal.) Em vez de citar preços dos concorrentes que mudam mensalmente, aqui está como raciocinar sobre a escolha:

• Custo. Nas tarifas por chamada mostradas acima, o preço em tempo real do Qwen fica na faixa mais baixa das opções hospedadas de modelos de fronteira. Em comparação, o áudio em tempo real da OpenAI vem ficando em torno de $0.06 por minuto de entrada e $0.24 por minuto de saída (detalhamento de preços aqui); com base nisso, a mesma chamada de 10 minutos que custa cerca de meio centavo em qwen3-omni-flash-realtime fica mais perto de $1.50 na OpenAI. Confirme as tarifas em tempo real de ambos os lados antes de confiar na diferença, já que tudo isso muda, mas a disparidade é grande. O Qwen também é o único dos três com uma versão de pesos abertos que você pode hospedar por conta própria para reduzir o custo marginal a quase zero.
• Abertura. OpenAI Realtime e Gemini Live são apenas APIs fechadas. O Qwen3-Omni é distribuído com pesos abertos, então você pode migrar de hospedado para auto-hospedado sem reescrever seu app em torno do comportamento de um novo modelo.
• Qualidade. Cobertura de terceiros informa que o nível superior qwen3.5-omni-plus alcança ou supera o Gemini 3.1 Pro em alguns benchmarks de compreensão de áudio; trate qualquer benchmark isolado como uma hipótese inicial e teste com seu próprio áudio.
• Ecossistema. A OpenAI e o Google têm hoje ferramentas, SDKs e exemplos da comunidade mais robustos. A documentação do Qwen é sólida, mas você dependerá mais da especificação bruta de WebSocket/WebRTC.

A leitura prática: se o custo ou a opção de self-host for importante, o Qwen é a escolha mais forte. Se você quer a experiência de SDK mais madura e está disposto a pagar por isso, as opções da OpenAI e do Google ainda lideram em refinamento. Para uma análise completa de custos das alternativas fechadas, veja a leitura relacionada abaixo.

Qual variante você deve escolher?

As camadas 3.5 adicionam clonagem de voz e limites maiores de contexto e diálogo (até 100 turnos e 600 segundos de áudio retido) em comparação com o mais enxuto qwen3-omni-flash (8 turnos). Se você estiver fazendo um protótipo, comece no Flash; mude para o Plus apenas quando atingir um limite que você consiga identificar.

Como acessá-lo

Hospedado, de forma direta. Provisione uma chave de API no Alibaba Cloud Model Studio, depois abra uma conexão WebSocket com autenticação Bearer (ou negocie WebRTC via um POST de SDP para apps de navegador). Você transmite áudio PCM para cima e recebe áudio PCM e texto para baixo. O DashScope Python SDK encapsula a interface Realtime se você preferir não gerenciar o socket manualmente. A conexão básica é curta (esboço, tratamento de erros omitido):

```python import os, json, base64, websocket

MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )

# 1. configure a sessão: voice, output format, server-side turn detection ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))

# 2. transmitir áudio do microfone como frames PCM de 16 kHz em base64 ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))

# 3. ler eventos de volta; response.audio.delta carrega PCM 24 kHz para reproduzir while True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```

Com o VAD no lado do servidor, o modelo decide quando o usuário parou de falar; mude para manual se quiser controlar os limites de turno você mesmo. O fluxo de eventos acompanha de perto a estrutura do OpenAI Realtime, então o código cliente existente do Realtime é portado com pequenas alterações. Confirme os nomes exatos dos campos, a lista de vozes e o host do endpoint regional nas documentações do Realtime antes de colocar em produção, pois eles diferem entre as implantações de Singapura e dos EUA e evoluem com a API.

Auto-hospedado. O open-weight Qwen3-Omni usa um design Mixture-of-Experts Thinker–Talker (30B no total, ~3B ativos). A Alibaba recomenda vLLM em vez de Transformers puro para ele. Para inferência BF16 do modelo completo de 30B, guias de implantação de terceiros indicam como mínimo uma única placa de 80 GB (A100 ou H100); uma placa de 24 GB como uma RTX 4090 não é suficiente para os pesos completos, embora versões quantizadas reduzam essa exigência.

O porém é que o serving em tempo real é mais difícil do que a inferência em lote. Operadores de self-hosting relatam a necessidade de limitar o KV cache para evitar travamentos sob carga concorrente, e um throughput de tokens em uma única placa que fica atrás da API hospedada. Stacks de serving ajustadas para streaming fecham boa parte dessa diferença: engenheiros trabalhando no Red Hat AI e no vLLM relataram que sobrepor as etapas do pipeline reduz a geração de fala para um clipe de 3 segundos de cerca de 8 segundos para aproximadamente 0,5. Isso é um ganho real, mas exige engenharia extra. O self-hosting elimina o custo por token enquanto adiciona custo de GPU e de operações, então compensa em volume alto e constante, em vez de para protótipos.

Para voz omni em tempo real hoje, o endpoint do DashScope é a rota canônica. Se sua stack já roteia vários provedores por meio de um gateway, um agregador pode ficar na frente dele, mas confirme primeiro se os IDs específicos dos modelos Qwen em tempo real estão no catálogo, pois muitos relays oferecem modelos de texto e imagem sem a camada de áudio em tempo real.

Limites que vale a pena conhecer antes de construir sobre isso

• As sessões têm limite de 120 minutos. Para qualquer coisa mais longa, como uma linha de suporte ou uma sessão longa de tutoria, você precisa de lógica de reconexão que mantenha o contexto entre sockets.
• A região afeta tanto a cota gratuita quanto a disponibilidade. Teste no endpoint para o qual você fará o deploy, e não naquele em que você se cadastrou primeiro.
• Hosted e open-weight não são idênticos. A API hosted anuncia reconhecimento em 113 idiomas e geração em 36 idiomas; o release Qwen3-Omni open-weight cobre um conjunto mais restrito (19 idiomas de entrada de fala e 10 idiomas de saída de fala). Se um idioma específico for seu requisito, verifique-o na variante exata que você planeja lançar.
• O custo em tempo real escala com o tempo de conversa, não com as solicitações. Como o áudio consome muitos tokens, um usuário falante custa mais do que um sucinto. Faça o cálculo da sua conta com base em minutos de conversa, não no número de chamadas.

Perguntas frequentes

O Qwen 3 suporta áudio?

Sim. Os modelos Qwen3-Omni são nativamente multimodais: eles recebem áudio, texto, imagens e vídeo como entrada e podem responder em tempo real por texto ou voz.

O Qwen pode gerar áudio (não apenas entendê-lo)?

Sim. Diferentemente do Qwen-Audio original, que produzia apenas texto, os modelos omni Realtime e o Qwen-TTS-Realtime geram saída de áudio falado, incluindo vozes clonadas no nível 3.5.

O áudio em tempo real do Qwen é gratuito?

Há uma cota de avaliação gratuita, historicamente 1 milhão de tokens de entrada e 1 milhão de tokens de saída por 90 dias no endpoint internacional (Singapura). Além disso, o uso é cobrado por token, e o Qwen3-Omni totalmente open-weight é gratuito para executar se você fornecer sua própria GPU.

Como executo o áudio do Qwen localmente?

Baixe o Qwen3-Omni de peso aberto (30B-A3B) e sirva-o com vLLM. Para o modelo completo em BF16, você precisará de aproximadamente uma placa de 80GB (A100 ou H100); GPUs de consumo menores suportam apenas versões quantizadas, não os pesos completos.

Leituras relacionadas

Fontes primárias:

• Documentação da API do Alibaba Model Studio Realtime
• Cartão do modelo Qwen3-Omni e pesos abertos (GitHub)

Como as alternativas se comparam em preço:

• Preços da OpenAI Realtime API
• Gemini 3.5 Live Translate
• Avaliação do Seed Audio