Qwen Audio 3.0 即時版:規格、價格與存取

最近更新: 2026-07-15 07:23:20

Qwen Audio 3.0 Realtime 是 Qwen 目前產品線中的即時音訊能力:一個你可以對話、並會即時回應的模型,延遲低到幾乎像在打電話一樣。在阿里巴巴的平台上,它透過 Qwen3-Omni / Qwen3.5-Omni Realtime API 提供(模型 ID 如 qwen3-omni-flash-realtime),另有 Qwen-TTS-Realtime 用於純文字轉語音,以及 qwen3-asr-flash 用於轉錄。這些託管的 omni Realtime 模型可辨識 100 多種語言,支援可中斷的全雙工運作,每分鐘對話成本僅需幾分之一美分。

最快的切入方式是透過 WebSocket 使用 qwen3-omni-flash-realtime。以下說明各個模型的功能、費用、與 OpenAI Realtime 和 Gemini Live 的比較,以及如何開始使用。每個規格、價格與模型 ID 都連結到其主要來源,主要是阿里巴巴的 Model Studio Realtime 文件以及 Qwen3-Omni 模型卡;供應商在這方面變動很快,因此如果某個數字已有變動,請以連結來源為準。

Qwen 音訊模型如何命名

Qwen 音訊系列歷經了幾個世代,了解其演進脈絡有助於輕鬆選到正確的模型:

  • Qwen-Audio (2023) 和 Qwen2-Audio 是音訊*理解*模型:輸入音訊,輸出文字。它們不會回應語音。
  • 現今一代將音訊整合進 全能 模型。Qwen3-OmniQwen3.5-Omni 可處理文字、圖片、音訊和影片,並生成文字與自然語音。
  • 即時行為是一個*交付層級*:同樣的全能模型,透過 Realtime API 呼叫,模型 ID 會以 -realtime 結尾。

所以「Qwen Audio 3.0 Realtime」(不管你怎麼標點它)指的是即時使用的 Qwen3-Omni 家族,而這正是本指南其餘部分所涵蓋的技術堆疊。

Qwen 即時音訊堆疊,分為三層

這有助於不要只思考單一模型,而是改以思考一個流程。生產環境中的語音應用通常會接觸三個 Qwen 模型,而且你可以將它們一起使用或獨立使用。

Diagram of the Qwen real-time audio stack: qwen3-asr-flash for speech-in, qwen3-omni-flash-realtime for conversation, Qwen-TTS-Realtime for speech-out

1. 語音輸入 — qwen3-asr-flash. 透過 WebSocket 的串流語音辨識,針對即時字幕與語音代理前端進行調校。它可跨非常廣泛的語言範圍進行轉錄,並且以低價的轉錄工作主力來定價。2. 即時對話 — qwen3.5-omni-flash-realtimeqwen3-omni-flash-realtimeqwen3.5-omni-plus-realtime. 這是核心:音訊(以及影片影格)輸入,文字與合成語音輸出,透過持續連線運作,並在多輪對話之間保持開啟,而不是每次請求都重新建立。3. 語音輸出 — Qwen-TTS-Realtime. 專用的串流文字轉語音模型,適用於你只需要把文字轉成語音的情況,例如朗讀由文字 LLM 產生的答案。

如果你在中間層使用 omni Realtime 模型,通常不需要另外呼叫 ASR 和 TTS,因為它能端到端處理語音輸入與語音輸出。這些獨立模型是為了讓你能自由混搭(例如,使用你自己的 STT 搭配 Qwen TTS)。

真正重要的規格

以下數據來自 Model Studio Realtime 文件,而非行銷頁面。

屬性Qwen Realtime API (omni family)
音訊輸入PCM, 16 kHz
音訊輸出PCM, 24 kHz
其他輸入影像 / 影片影格 (JPG, 最多 1080p,編碼後 256 KB)
語音辨識113 種語言和方言 (hosted API)
語音生成36 種語言和方言
聲音共 55 種(47 種多語言、8 種方言),另加 3.5 models 上的聲音複製
連線WebSocket (Bearer auth, 手動或伺服器端 VAD) 和 WebRTC (SDP negotiation)
最長 session透過 WebSocket 可達 120 分鐘
額外功能Semantic interruption, function calling, autonomous web search, voice control for volume / rate / emotion

其中有幾項值得特別強調。語意中斷是指模型能分辨使用者是在插話,還是只是在以「嗯哼」之類的回應做出回饋;這就是自然的語音代理與惱人的語音代理之間的差別。WebRTC 支援如果你是在瀏覽器中建置,這就很重要,因為它會幫你處理回音消除和抖動。而113 種語言的辨識數字是針對代管 API;如下所述,開放權重版本涵蓋的範圍較窄。

關於延遲:專用的 Qwen-TTS-Realtime 串流路徑目標是大約 97 ms 首包延遲,根據 Qwen3-TTS 串流文件,這個數字決定了語音是否聽起來即時。這個數值是到第一個音訊區塊的時間,不是完整回應的時間。至於完整的對話迴圈,Thinker–Talker 設計是為串流而打造;Qwen3-Omni 技術報告描述了一種旨在將延遲降到最低的多 codebook 設計,而社群測試顯示音訊到音訊的回應可落在 250 ms 以下,並支援全雙工、可中斷的輪次。實際數值取決於你的區域、網路與負載,因此請根據你自己的流量進行測量,而不是只相信單一的標題數字。

Qwen 即時音訊定價,簡單數字看懂

Qwen 的託管即時價格明顯低於封閉式即時 API。以下為每百萬 token 的費率(輸入/輸出),如 Portkey 的 DashScope 模型目錄 所列(這是一個第三方聚合器,反映阿里巴巴的費率;在您承諾前,請先於 Model Studio console 確認即時數字):

模型輸入 / 1M tok輸出 / 1M tok
qwen-omni-turbo-realtime$0.27$1.07
qwen3-omni-flash-realtime$0.52$1.99
qwen3-asr-flash (轉錄)$0.04$0.04

這對每次通話意味著什麼。 音訊非常吃 token:大約每分鐘音訊 427 個 token。以一段 10 分鐘的語音對話為例,使用者講 5 分鐘,模型回覆 5 分鐘。在 qwen3-omni-flash-realtime 上,這大約是 2,135 個輸入 token 和 2,135 個輸出 token,因此大約是 輸入 $0.001 + 輸出 $0.004 ≈ 每 10 分鐘通話半美分。即使在大規模使用下,即時音訊也很便宜;真正讓人意外的成本是 *輸出* 端的說話時間,因為語音回覆的定價大約是輸入的 4 倍。

在你編列預算之前,還有兩件事:

  • 有免費額度,但具有地域限制。新加坡(國際)端點曾提供90 天內 100 萬輸入與 100 萬輸出 tokens 免費額度;美國端點則沒有。額度會變動,因此在規劃前,請先在您所在區域的 Model Studio console 中確認目前的優惠。
  • qwen3.5-omni 層級採用依請求大小分級的定價區間,而非固定費率,因此單一大型上下文請求可能落入不同的價格帶,而不是像多個小型請求那樣。請先用您的實際流量型態測試,再決定是否採用。

它與 OpenAI Realtime 和 Gemini Live 的比較

在通用型前沿 LLM 供應商中,到了 2026 年中,三個明顯的即時語音對語音選項是 OpenAI 的 Realtime API、Google 的 Gemini Live,以及 Qwen 的 omni Realtime 系列。(像 ElevenLabs、Deepgram、Cartesia 和 Hume 這類專門的語音供應商,則是在 TTS 和 STT 上展開激烈競爭;本比較討論的是完整的多模態模型路徑。)與其引用每月變動的競爭對手價格,不如這樣來思考選擇:

  • 成本。 依照上方顯示的每次呼叫費率,Qwen 的即時定價落在託管前沿模型選項的低端。相比之下,OpenAI 的 Realtime 音訊費率約為每分鐘輸入 $0.06、每分鐘輸出 $0.24定價明細請見此處);以此計算,同樣一通 10 分鐘、在 qwen3-omni-flash-realtime 上成本約半美分的通話,在 OpenAI 上則接近$1.50。在你依賴這個差距之前,請先確認雙方的即時費率,因為這些數字都會變動,但差距確實很大。Qwen 也是這三者中唯一提供可自行託管的open-weight 版本,讓你的邊際成本有機會降到接近零。
  • 開放性。 OpenAI Realtime 和 Gemini Live 都僅提供封閉式 API。Qwen3-Omni 則釋出 open weights,因此你可以在不必因為新模型行為而重寫應用程式的情況下,從託管版轉為自託管。
  • 品質。 第三方報告指出,頂級的 qwen3.5-omni-plus 在某些音訊理解基準上與 Gemini 3.1 Pro 持平或更勝一籌;請將任何單一基準視為起始假設,並用你自己的音訊進行測試。
  • 生態系統。 OpenAI 和 Google 目前擁有更成熟的工具、SDK,以及社群範例。Qwen 的文件也不錯,但你會更依賴原生的 WebSocket/WebRTC 規格。

實際上來說:如果成本或自行主機託管的選項很重要,Qwen 是最強的選擇。如果你想要最成熟的 SDK 體驗,並且願意為此付費,OpenAI 和 Google 的選項在完成度上仍然領先。若要查看封閉式替代方案的完整成本明細,請參閱下方的相關閱讀。

您應該選擇哪個版本?

您的情境使用
最便宜的代管完整語音迴圈qwen3-omni-flash-realtime
最佳代管品質、更長的工作階段、語音複製qwen3.5-omni-plus-realtime
您只需要轉錄qwen3-asr-flash
您只需要文字轉語音Qwen-TTS-Realtime
資料必須保留在您自己的硬體上自行代管開放權重 Qwen3-Omni (30B-A3B)

3.5 等級新增了語音克隆、更長的上下文,以及對話限制(最多 100 輪與 600 秒的保留音訊),相較於更精簡的 qwen3-omni-flash(8 輪)。如果你正在進行原型開發,請先從 Flash 開始;只有在遇到你能明確指出的限制時,再切換到 Plus。

如何存取它

託管,直接方式。Alibaba Cloud Model Studio 中設定 API key,然後使用 Bearer 驗證開啟 WebSocket 連線(或者針對瀏覽器應用程式透過 SDP POST 協商 WebRTC)。您向上傳送 PCM 音訊串流,並在下行接收 PCM 音訊與文字。DashScope Python SDK 會包裝 Realtime 介面,如果您不想手動管理 socket。基本連線很簡短(草圖,省略錯誤處理):

```python import os, json, base64, websocket

MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )

# 1. 設定會話:語音、輸出格式、伺服器端輪次偵測 ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))

# 2. 以 base64 PCM 16 kHz 幀將麥克風音訊串流上傳 ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))

# 3. 讀取事件回傳;response.audio.delta 攜帶 24 kHz PCM,可在 while True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```

使用 server-side VAD 時,模型會決定使用者何時已停止說話;如果您想自行控制輪流發言的邊界,請切換為 manual。事件流程與 OpenAI Realtime 的結構非常接近,因此現有的 Realtime 用戶端程式碼只需稍作修改即可移植。請在上線前依照 Realtime docs 確認正確的欄位名稱、voice 清單,以及區域端點主機,因為新加坡和美國部署之間有所不同,且會隨著 API 演進。

自架設。 開源權重的 Qwen3-Omni 採用 Thinker–Talker Mixture-of-Experts 設計(總計 30B,約 3B 啟用)。Alibaba 建議使用 vLLM,而不是直接使用 Transformers 來部署它。對於完整 30B 模型的 BF16 推理,第三方部署指南 指出最低需求是一張 80GB 顯示卡(A100 或 H100);像 RTX 4090 這類 24 GB 顯示卡不足以載入完整權重,但量化版本可降低這個門檻。

問題在於,即時服務比批次推論更難。自架者回報,為了避免在並行負載下停頓,不得不限制 KV cache;而單卡 token 吞吐量也落後於託管 API。針對串流調校的服務堆疊能縮小不少差距:在 Red Hat AI 和 vLLM 上工作的工程師回報,重疊 pipeline 階段可將 3 秒片段的語音生成時間從大約 8 秒縮短到約 0.5 秒。這確實是實質的提升,但也需要額外的工程投入。自架能移除每個 token 的成本,同時增加 GPU 與維運成本,因此它在高且穩定的用量下才划算,而不適合原型階段。

對於當今的即時全通路語音,DashScope endpoint 是標準路徑。如果你的技術棧已經透過一個 gateway 轉接多個 provider,aggregator 可以位於其前端,但請先確認其 catalog 中包含特定的 Qwen realtime model IDs,因為許多 relay 只提供 text 和 image models,而沒有 realtime audio tier。

在你基於它進行開發之前,值得了解的限制

  • Session 最長為 120 分鐘。 若超過這個時間,例如客服專線或長時間家教課程,您需要具備重連邏輯,以便在多個 socket 之間延續上下文。
  • 區域會同時影響免費額度與可用性。 請針對您實際部署的端點進行測試,而不是最初註冊時所選的那個端點。
  • 託管版與開放權重版並不相同。 託管 API 宣稱支援 113 種語言辨識與 36 種語言生成;開放權重的 Qwen3-Omni release 則涵蓋較窄的範圍(19 種語音輸入語言與 10 種語音輸出語言)。如果特定語言是您的需求,請在您打算推出的確切變體上驗證。
  • 即時成本會隨談話時間而非請求數量增加。 由於音訊的 token 量很高,話多的使用者成本會比簡短的使用者更高。請以對話分鐘數,而不是呼叫次數來估算費用。

常見問題

Qwen 3 支援音訊嗎?

是的。Qwen3-Omni 模型原生支援多模態:它們可接受音訊、文字、圖片和影片作為輸入,並能即時以文字或語音回應。

Qwen 可以生成音訊(不只是理解它)嗎?

是。與原始的 Qwen-Audio 不同,後者只會產生文字,omni Realtime models 和 Qwen-TTS-Realtime 會產生口語音訊輸出,包括 3.5 等級上的複製聲音。

Qwen 即時音訊是免費的嗎?

在國際(新加坡)端點上,歷來有 90 天、100 萬輸入 token 和 100 萬輸出 token 的免費試用額度。超出後則按 token 計費,而如果你提供自己的 GPU,完全開源權重的 Qwen3-Omni 可以免費執行。

如何在本機執行 Qwen 音訊?

下載 open-weight Qwen3-Omni(30B-A3B),並使用 vLLM 來部署它。對於 BF16 格式的完整模型,你大約需要一張 80GB 顯示卡(A100 或 H100);較小的消費級 GPU 只能處理量化版本,無法處理完整權重。

相關閱讀

主要來源:

各替代方案的價格比較: