Qwen Audio 3.0 Realtime は、Qwen の現行ラインアップにおけるリアルタイム音声機能です。話しかけるとすぐに同じ調子で返答してくれるモデルで、電話のように感じられるほど低いレイテンシを備えています。Alibaba のプラットフォームでは、Qwen3-Omni / Qwen3.5-Omni Realtime API(qwen3-omni-flash-realtime のようなモデル ID)を通じて提供され、純粋な音声合成には Qwen-TTS-Realtime、文字起こしには qwen3-asr-flash が用意されています。ホスト型の omni Realtime モデルは 100 以上の言語を認識し、割り込み可能な全二重通信で動作し、会話 1 分あたり数セント未満のコストです。
最も手早い方法は、WebSocket 経由の qwen3-omni-flash-realtime です。以下では、各モデルの機能、料金、OpenAI Realtime や Gemini Live との比較、そして開始方法を説明します。すべての仕様、価格、モデル ID には主な出典へのリンクが付いており、主に Alibaba の Model Studio Realtime documentation と Qwen3-Omni model card に基づいています。ベンダーはここでの更新が速いので、数値が変わっていた場合はリンク先の出典を信頼してください。
Qwenの音声モデルの命名方法
Qwenの音声モデルは複数世代にわたって展開されており、その系譜を把握しておくと、適切なモデルを選びやすくなります:
Qwen-Audio(2023)とQwen2-Audioは、音声を*理解する*モデルでした。音声を入力し、テキストを出力します。応答の音声は返しませんでした。- 現在の世代では、音声は omni モデルに統合されています。
Qwen3-OmniとQwen3.5-Omniは、テキスト、画像、音声、動画を受け取り、テキストと自然な音声の両方を生成します。 - リアルタイム動作は*提供レイヤー*です。Realtime API を通じて呼び出される同じ omni モデルで、モデル ID の末尾が
-realtimeになります。
では、「Qwen Audio 3.0 Realtime」(どう区切るにせよ)は、リアルタイムで使用される Qwen3-Omni ファミリーを指しており、このガイドの残りの部分ではそのスタックを扱います。
3層で構成されたQwenリアルタイム音声スタック
単一のモデルについて考えるのをやめて、代わりにパイプラインについて考えると役立ちます。本番環境の音声アプリは通常、3つのQwenモデルに触れ、それらを組み合わせて使うことも、個別に使うこともできます。
1. 音声入力 — qwen3-asr-flash. WebSocket 経由のストリーミング音声認識で、ライブキャプションや音声エージェントのフロントエンド向けに最適化されています。非常に幅広い言語範囲に対応して文字起こしを行い、低価格な文字起こしの主力として提供されています。 2. リアルタイム会話 — qwen3.5-omni-flash-realtime, qwen3-omni-flash-realtime, qwen3.5-omni-plus-realtime. これが中核です。音声(および動画フレーム)を入力し、テキストと合成音声を出力します。リクエストごとに再接続するのではなく、ターンをまたいで開いたまま維持される永続接続上で動作します。 3. 音声出力 — Qwen-TTS-Realtime. テキストを音声に変換するだけでよい場合のための専用ストリーミング音声合成モデルです。たとえば、テキスト LLM が生成した回答を読み上げる用途です。
ミドルレイヤーに omni Realtime model を使用する場合、音声入力から音声出力までエンドツーエンドで処理できるため、通常は別々の ASR や TTS の呼び出しは必要ありません。個別のモデルは、組み合わせて使いたい場合(たとえば、自前の STT と Qwen TTS を組み合わせるなど)のためにあります。
実際に重要な仕様
こちらは、マーケティングページではなく、Model Studio Realtime documentation からの数値です。
| 属性 | Qwen Realtime API (omni family) |
|---|---|
| 音声入力 | PCM, 16 kHz |
| 音声出力 | PCM, 24 kHz |
| その他の入力 | 画像 / 動画フレーム (JPG, 最大 1080p、エンコード後 256 KB) |
| 音声認識 | 113の言語と方言 (hosted API) |
| 音声生成 | 36の言語と方言 |
| 音声 | 合計55種類(多言語47、方言8)、さらに3.5モデルではボイスクローニングも対応 |
| 接続 | WebSocket (Bearer auth、手動またはサーバー側VAD) と WebRTC (SDP negotiation) |
| 最大セッション | WebSocketで120分 |
| 追加機能 | 意味的割り込み、function calling、自律的なウェブ検索、音量 / 速度 / 感情の音声制御 |
これらのいくつかは強調する価値があります。Semantic interruptionとは、ユーザーが割り込んでいるのか、それとも「mm-hmm」のように相槌を打っているだけなのかをモデルが判断できることを意味し、これは自然な音声エージェントと煩わしい音声エージェントの違いです。ブラウザ上で構築している場合には、WebRTC supportが重要です。というのも、エコーキャンセルやジッターを自動で処理してくれるからです。そして、113-language の認識数はホスト型APIに関するもので、オープンウェイト版は下記のとおりより限定された言語セットを対象としています。
レイテンシについて:専用の Qwen-TTS-Realtime ストリーミング経路は、Qwen3-TTS のストリーミングドキュメントによると、おおよそ 97 ms の初回パケット遅延を目標としており、これは音声が即時に感じられるかどうかを左右する数値です。この値は最初の音声チャンクまでの時間であり、完全な応答時間ではありません。完全な会話ループについては、Thinker–Talker 設計はストリーミング向けに構築されています。Qwen3-Omni の技術報告では、レイテンシ最小化を目的としたマルチコードブック設計が説明されており、コミュニティのテストでは、フルデュプレックスで中断可能なターンにおける音声間応答が 250 ms 未満の範囲に収まることが示されています。実際の数値は地域、ネットワーク、負荷に依存するため、1つの見出しの数値を鵜呑みにせず、自分のトラフィックで測定してください。
Qwen リアルタイム音声の価格、数字で見ると
Qwenのホスティングされたリアルタイム価格は、クローズドなリアルタイムAPIよりも大幅に低くなっています。以下は、Portkey's DashScope model directory(Alibabaの料金を反映するサードパーティのアグリゲーター)に記載されている、100万トークンあたりのレート(入力 / 出力)です。コミットする前に、Model Studio consoleで最新の数値を確認してください:
| モデル | 入力 / 100万 tok | 出力 / 100万 tok |
|---|---|---|
qwen-omni-turbo-realtime | $0.27 | $1.07 |
qwen3-omni-flash-realtime | $0.52 | $1.99 |
qwen3-asr-flash (文字起こし) | $0.04 | $0.04 |
1回の呼び出しで何を意味するか。 音声はトークン消費が大きく、ざっくり音声1分あたり427トークンです。ユーザーが5分話し、モデルが5分返答する10分間の音声会話を考えてみましょう。qwen3-omni-flash-realtimeでは、入力トークンが約2,135、出力トークンが約2,135となり、おおよそ$0.001(入力)+ $0.004(出力)≒10分の通話1回あたり半セントです。大規模に使っても、リアルタイム音声は安価です。人々が意外に感じるコストは出力側の発話時間で、音声による応答は入力の約4倍の価格だからです。
予算を立てる前に、あと2つあります:
- 無料枠はありますが、地域限定です。 シンガポール(国際)エンドポイントでは、90日間で入力1百万トークンと出力1百万トークンが無料で提供されていました。米国エンドポイントでは提供されていません。クォータは変更されるため、計画を立てる前に、お住まいの地域向けの現在の提供内容を Model Studio console で確認してください。
qwen3.5-omniティアはリクエストサイズに基づく料金区分を使用します。定額制ではないため、単一の大規模コンテキストのリクエストが、複数の小さなリクエストとは異なる価格帯に入ることがあります。導入を決める前に、実際のトラフィックの形でこれをテストしてください。
OpenAI Realtime と Gemini Live と比べてどうか
汎用フロンティアLLMベンダーの中で、2026年半ば時点における明らかなリアルタイム speech-to-speech の3つの選択肢は、OpenAI's Realtime API、Google's Gemini Live、そしてQwen's omni Realtime familyです。(ElevenLabs、Deepgram、Cartesia、Hume などの専門的な音声プロバイダーは、特にTTSとSTTで激しく競争していますが、この比較はフルのマルチモーダルモデル経路についてです。)毎月変わる競合価格を挙げる代わりに、選択をどう考えるべきかを示します:
- コスト。 上で示した1回あたりの料金では、Qwenのリアルタイム価格設定はホスト型フロンティアモデルの選択肢の中でも低い部類に入ります。参考までに、OpenAIのRealtime audioは 入力1分あたり$0.06、出力1分あたり$0.24 程度で推移しています(料金の内訳はこちら);この基準で見ると、
qwen3-omni-flash-realtimeでは約半セントの10分通話が、OpenAIでは $1.50 前後になります。差を前提にする前に、両者の最新料金を必ず確認してください。いずれも変更されるためです。しかし、その開きは大きいです。Qwenは、自己ホストして限界費用をほぼゼロに近づけられる open-weight 版を持つ3つの中で唯一のモデルでもあります。 - 開放性。 OpenAI Realtime と Gemini Live は、いずれも閉じたAPIのみです。Qwen3-Omni は open weights で提供されているため、新しいモデルの挙動に合わせてアプリを書き直すことなく、ホスト型から自己ホスト型へ移行できます。
- 品質。 第三者の評価では、最上位の
qwen3.5-omni-plusが 一部の音声理解ベンチマークで Gemini 3.1 Pro に匹敵、あるいは上回る と報告されています。単一のベンチマークはあくまで出発点の仮説として扱い、自分の音声で検証してください。 - エコシステム。 現時点では、OpenAI と Google のほうがツール、SDK、コミュニティのサンプルが充実しています。Qwen のドキュメントも十分にしっかりしていますが、より多くを生の WebSocket/WebRTC 仕様に頼ることになります。
実際的な見方としては、コストや自社ホストの選択肢が重要なら、Qwen が最有力です。最も成熟した SDK の使い心地を求め、その対価を払う意思があるなら、OpenAI と Google の選択肢はいまでも完成度で先行しています。クローズドな代替案のコスト内訳の詳細については、下の関連資料をご覧ください。
どのバリアントを選ぶべきですか?
| あなたの状況 | 使用するもの |
|---|---|
| 最も安価なホスト型フルボイスループ | qwen3-omni-flash-realtime |
| 最高品質のホスト型、長時間セッション、ボイスクローン | qwen3.5-omni-plus-realtime |
| 文字起こしだけが必要 | qwen3-asr-flash |
| テキスト読み上げだけが必要 | Qwen-TTS-Realtime |
| データを自分のハードウェア上に保持する必要がある | open-weight をセルフホストする Qwen3-Omni (30B-A3B) |
3.5ティアでは、音声クローン作成と、より長いコンテキストおよびダイアログの制限(最大100ターン、保持音声600秒)が追加されます。一方、より軽量な qwen3-omni-flash は8ターンです。プロトタイピング中なら、まずFlashから始めてください。明確に特定できる制限に達したときだけPlusに移行しましょう。
アクセスする方法
ホスト型、直接接続する方法。 Alibaba Cloud Model Studio で API キーを用意し、その後 Bearer 認証で WebSocket 接続を開きます(または、ブラウザアプリ向けに SDP POST 経由で WebRTC をネゴシエートします)。PCM 音声をストリーミングで送信すると、PCM 音声とテキストが下りで返ってきます。ソケットを手動で管理したくない場合は、DashScope Python SDK が Realtime インターフェースをラップします。最小限の接続例は短く次のとおりです(概略、エラー処理は省略):
```python import os, json, base64, websocket
MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )
# 1. セッションを設定する: voice, output format, server-side turn detection ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))
# 2. base64 PCM 16 kHz フレームとしてマイク音声をアップロードする ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))
# 3. イベントを読み戻す; response.audio.delta は再生用の PCM 24 kHz を運ぶ while True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```
server-side VAD では、モデルがユーザーの発話終了を判断します。ターンの区切りを自分で制御したい場合は、manual に切り替えてください。イベントの流れは OpenAI Realtime の形状にかなり忠実に追従しているため、既存の Realtime クライアントコードは小さな変更で移植できます。正確なフィールド名、音声リスト、リージョンごとのエンドポイントホストは、リリース前に Realtime docs で確認してください。シンガポールと US のデプロイメントでは異なり、API とともに進化するためです。
Self-hosted. オープンウェイトの Qwen3-Omni は、Thinker–Talker の Mixture-of-Experts 設計(合計30B、約3Bがアクティブ)を採用しています。Alibaba は、これに対して通常の Transformers よりも vLLM を推奨しています。フル30Bモデルの BF16 推論については、サードパーティのデプロイガイド では、最低でも単一の 80GB カード(A100 または H100) が必要とされています。RTX 4090 のような 24 GB カードではフルの重みには不足しますが、量子化版ならその要件は下がります。
問題は、リアルタイム提供がバッチ推論より難しいことです。セルフホスト利用者は、同時負荷時の停止を避けるために KV キャッシュに上限を設ける必要があると報告しており、単一カードでのトークンスループットもホスト型 API に及びません。ストリーミング向けに調整されたサービングスタックは、その差の多くを埋めます。Red Hat AI と vLLM に取り組むエンジニアは、パイプライン段階を重ねることで、3秒のクリップの音声生成時間が約8秒から約0.5秒へ短縮されたと報告しています。これは確かな改善ですが、追加のエンジニアリングが必要です。セルフホスティングはトークンごとのコストをなくす一方で、GPU と運用コストが加わるため、試作段階よりも、高く安定した利用量がある場合にこそ効果を発揮します。
本日のリアルタイム omni voice では、DashScope エンドポイントが標準的なルートです。すでに複数のプロバイダーを1つのゲートウェイでルーティングしている場合は、その前段にアグリゲーターを置くこともできますが、まず特定の Qwen realtime モデルIDがそのカタログに含まれていることを確認してください。多くのリレーはテキストと画像のモデルは扱っていますが、realtime audio tier は含んでいないためです。
それを基に構築する前に知っておく価値のある制限事項
- セッションは120分で上限となります。 サポート窓口や長時間の個別指導セッションのようにそれ以上続く場合は、ソケットをまたいでコンテキストを引き継ぐ再接続ロジックが必要です。
- リージョンは無料枠と利用可否の両方に影響します。 最初に登録した先ではなく、実際にデプロイするエンドポイントでテストしてください。
- ホスト型とオープンウェイトは同一ではありません。 ホスト型APIは113言語の認識と36言語の生成を提供していますが、オープンウェイトのQwen3-Omni releaseはより限定された範囲(音声入力19言語、音声出力10言語)をカバーします。特定の言語が要件であれば、公開予定の正確なバリアントで確認してください。
- リアルタイムのコストはリクエスト数ではなく会話時間に比例します。 音声はトークン消費が大きいため、よく話すユーザーほど寡黙なユーザーよりコストが高くなります。料金は呼び出し回数ではなく、会話の分数で見積もってください。
よくある質問
Qwen 3 は音声をサポートしていますか?
はい。Qwen3-Omniモデルはネイティブなマルチモーダル対応で、音声、テキスト、画像、動画を入力として受け取り、リアルタイムでテキストまたは音声で応答できます。
Qwenは音声を生成できますか(理解するだけでなく)?
はい。元の Qwen-Audio はテキストのみを生成していたのに対し、omni Realtime モデルと Qwen-TTS-Realtime は音声出力を生成し、3.5 ティアではクローン音声も含まれます。
Qwen のリアルタイム音声は無料ですか?
国際(シンガポール)エンドポイントでは、従来、90日間で100万入力トークンと100万出力トークンの無料トライアル枠があります。それを超えるとトークン単位の従量課金となり、独自のGPUを用意すれば、完全にオープンウェイトのQwen3-Omniを無料で実行できます。
Qwen audio をローカルで実行するにはどうすればよいですか?
オープンウェイトのQwen3-Omni(30B-A3B)をダウンロードし、vLLMで提供します。BF16のフルモデルには、おおよそ80GBカード(A100またはH100)が必要です。より小さいコンシューマ向けGPUでは、フルウェイトではなく量子化版のみを扱えます。
関連資料
主な情報源:
代替案の価格は次のとおりです:
