AIREITER

Ming-3.0 TTS 評測:聲音複製亮眼,部署仍有不少粗糙處

最近更新: 2026-10-20 02:25:23

Ming-3.0 TTS 把聲音複製、聲音設計、七種語言、兩種中文方言與豐富表達標記整合在 MIT 授權之下,規格看來相當完整。不過,實際部署仍是它最需要驗證的一環:官方測試使用資料中心級 GPU,而名稱帶有「Tiny」的較大 checkpoint,無論儲存空間或記憶體需求其實都不小。

先選對 checkpoint,再來看跑分

Ming-3.0 TTS 提供密集式的 0.5B 模型,以及名為 Tiny、總參數 7.9B 的 mixture-of-experts 模型;Tiny 每個 token 約啟用 1.3B 參數。建議先從 0.5B 開始,只有在多人 Podcast 生成模式,或廠商公布的更高說話者相似度足以抵銷較大體積時,才考慮選擇 Tiny。

選擇面向Ming-3.0-tts-0.5BMing-3.0-tts-tiny
架構密集式,Qwen2.5-0.5B backboneLing V3 MoE,總計 7.9B/啟用 1.3B
儲存庫中繼資料1.48B BF16 參數;2.96 GB safetensors約 9B 參數;儲存庫體積約 18 GB
最適合選用的理由下載較小,且有獨立 arena 成績支援多人 Podcast 模式,廠商公布的相似度更高
獨立 TTS arena 成績有:Provider Voice Elo 1,188未找到 checkpoint 專屬的獨立 Elo
官方 GPU 指引已在 H800-80GB 與 H20-96G 測試建議使用 H800
原生執行入口infer.py / MingTTSinfer_tiny.py / MingTinyTTS

這些模型名稱比較像是在標示 backbone,而非完整語音管線的規模。Hugging Face 顯示 0.5B 套件含有 1,479,454,804 個 BF16 參數,因為當中也納入了語音生成元件。Tiny 的稀疏啟用機制能降低運算量,但無法消除 expert 帶來的儲存與記憶體成本。來源:官方 0.5B model card 與 官方 Tiny model card。

inclusionAI 這次釋出了什麼

inclusionAI 於 2026 年 10 月釋出兩個 checkpoint,包含權重、推論程式碼、任務 cookbook,以及 0.5B 的 Docker 相關材料。官方儲存庫記錄了這次發布,並提供目前的安裝設定說明。

兩個 checkpoint 都整合了語言 backbone、diffusion-transformer head、音訊 tokenizer、CAM++ 說話者編碼器與文字 tokenizer。輸出音訊為 44.1 kHz,支援中文、英文、德文、西班牙文、法文、韓文與日文;另有四川話與粵語的獨立方言任務。

共同功能包括 zero-shot 聲音複製、以自然語言設計聲音、超過 100 種中文聲線、五種英文聲線,以及笑聲、呼吸、咳嗽、嘆氣與遲疑等 14 種行內標記。使用者還能調整情緒、語速、音高與音量。Tiny 則額外提供多人 Podcast 生成。

這些控制項屬於彼此獨立的任務模式,不能任意自由組合。自由風格演繹無法與聲音設計、內建聲線、情緒、方言或基本屬性控制並用。若產品需要在一次呼叫中同時指定複製說話者、情緒與方言,必須先驗證支援的任務契約能否表達這種組合。

本機部署的三條路徑

Ming-3.0 TTS 可透過 inclusionAI 原生 Python 程式碼,或 SGLang-Omni 的 HTTP 伺服器執行。原生 0.5B 是風險最低的起手測試;原生 Tiny 可使用 Podcast 任務;SGLang-Omni 則提供最乾淨的 API,但不支援漸進式音訊串流。

路徑適用情境主要限制
原生 0.5B初步評估與完整的 0.5B 控制功能官方測試使用 H800/H20
原生 TinyPodcast 模式與 Tiny 任務 cookbook須使用獨立的 CUDA 11.8 環境;建議 H800
SGLang-Omni Tiny本機 /v1/audio/speech endpointstream=true 仍會回傳已完成的 waveform

原生 0.5B 路徑固定使用 PyTorch 2.6、CUDA 12.4 與 Transformers 4.46.3。若要正規化數字、日期、單位與符號文字,則需要 pynini==2.1.6。

git clone https://github.com/inclusionAI/Ming-3.0-tts.git
cd Ming-3.0-tts
pip install -r requirements.txt
conda install -c conda-forge pynini==2.1.6
hf download inclusionAI/Ming-3.0-tts-0.5B --local-dir Ming-3.0-tts-0.5b
python tools/preflight.py --model_path ./Ming-3.0-tts-0.5b

通過 preflight 後,可用以下官方命令模式進行聲音複製測試:

python infer.py \
  --model_path ./Ming-3.0-tts-0.5b \
  --task TTS \
  --language_id English \
  --text "The release candidate passed the final test." \
  --prompt_wav_path /path/to/reference.wav \
  --prompt_text "The exact transcript of the reference recording." \
  --use_spk_emb \
  --output output/clone.wav

Tiny 因固定依賴版本不同,需要建立另一套環境:

conda create -n ming-tiny python=3.10.15 -y
conda activate ming-tiny
pip install -r requirements-tiny.txt
hf download inclusionAI/Ming-3.0-tts-tiny --local-dir Ming-3.0-tts-tiny
python tools/preflight_tiny.py --model_path ./Ming-3.0-tts-tiny

若要透過 HTTP 提供服務,SGLang-Omni 文件說明了一套單 GPU 伺服器做法:

sgl-omni serve --model-path inclusionAI/Ming-3.0-tts-tiny

curl -X POST http://127.0.0.1:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inclusionAI/Ming-3.0-tts-tiny",
    "input": "The release candidate passed the final test.",
    "response_format": "wav",
    "seed": 123
  }' --output speech.wav

SGLang-Omni 支援 WAV、MP3、FLAC 與 PCM,可接受一筆聲音複製參考音訊,且未加前綴的 ref_audio 路徑會在伺服器端解析。文件所述的 stream=true 行為,是待合成完成後才回傳單一 PCM body,因此無法一邊生成、一邊播放。

品質證據:複製強,原生聲線表現參差

目前最有力、且可直接查證的獨立證據,適用於 Ming-3.0-tts-0.5B 而非 Tiny。2026 年 10 月 19 日,Artificial Analysis 在 Provider Voice 項目中列出 Ming 的 Elo 為 1,188,該項目測試的是模型原生聲線。inclusionAI 則引用 Artificial Analysis 的 Controlled Voice Elo 1,069 成績,後者讓各模型複製相同的參考聲線。

證據結果解讀
Artificial Analysis Provider Voice1,188 Elo;2026 年 10 月 19 日排名第 18原生聲線具競爭力,但不是同類最佳
inclusionAI 轉述的 Controlled Voice1,069 Elo;發布時開放權重中排名第一聲音複製是更強的訊號
廠商中文 WER0.5B 為 0.800%;Tiny 為 0.820%內容準確度相近
廠商中文說話者相似度0.5B 為 0.758;Tiny 為 0.781Tiny 較偏重聲線還原度
廠商韓文 CER0.5B 為 1.728%;Tiny 為 6.000%Tiny 不適合作為韓文的預設選擇

在該日期的Artificial Analysis Provider Voice 排行榜中,Ming 在開放權重模型裡落後於 Fish Audio Drama 3 Preview 與 Breeze TTS 2。Provider Voice 衡量原生聲線,Controlled Voice 衡量複製能力,兩項排名回答的是不同問題。

Tiny 的詳細分數來自 inclusionAI 的評估表。官方宣稱它在德文與西班牙文的 WER 分別以 0.325% 與 0.971% 領先,但韓文 CER 高達 6.000%。inclusionAI 也在官方 Tiny model card中將韓文準確性列為限制之一。

會影響正式上線的限制

Ming-3.0 TTS 尚未公布託管 API 定價、Tiny 的 checkpoint 專屬獨立 arena 成績,也沒有官方消費級 GPU 需求說明。對於沒有 H800 級基礎設施的團隊而言,這些缺口使容量規劃難以可靠進行。

0.5B 的設定已在 H800-80GB 與 H20-96G 上測試。Tiny 建議使用 H800,而 SGLang-Omni 只說明其伺服器使用一張 GPU。官方來源未公布 RTX 4090 的 VRAM 用量、Apple Silicon 效能、Tiny 的 real-time factor、併發能力,或每生成一小時音訊的成本。

一位實務使用者在發布當天,簡潔點出了它的吸引力與證據缺口:

「Ant 開源了一個 0.5B 模型,能複製聲音、用文字設計新聲音,還能讓它笑、嘆氣……」— David Hendrickson (@TeksEdge)

同一篇貼文也提到尚無 GGUF 版本與消費級 GPU 基準測試。這是使用者觀察,不是硬體測量;是否適合正式環境,仍應以本機載入與延遲測試為準。

官方 Tiny model card指出,其音高控制弱於語速與音量控制;多個副語言事件同時使用時,穩定性也會下降。Podcast 成果為 2.03% CER 與 2.12 UTMOS,低於 ZipVoice-Dia 的 2.24 UTMOS。官方儲存庫 roadmap目前仍將技術報告列為未完成項目。

依工作負載判斷:採用前的門檻

Ming-3.0 TTS 值得用於評估自託管聲音複製、富有表情的旁白、中文方言工作,以及可商用的開放權重需求。但對低延遲對話式代理,或希望在 24 GB 桌機 GPU 上可預測運行的情境,它目前還不該是預設方案。

工作負載結論原因
聲音複製建議評估廠商公布的 Controlled Voice 成績是最強的複製訊號
富表情中文/英文旁白建議評估提供 14 種行內事件與明確的演繹控制
德文或西班牙文合成具潛力Tiny 在 inclusionAI 的 WER 表中領先,但證據仍由廠商產出
韓文合成優先選擇 0.5B,而非 Tiny廠商 CER 為 1.728% 對 6.000%
多人 Podcast使用 TinyPodcast 模式僅限 Tiny
即時語音代理暫不建議文件中的 SGLang endpoint 不支援漸進式串流
消費級 GPU 部署承諾導入前先測試缺少官方 4090 級需求與吞吐量資料
商用自託管允許程式碼與權重皆採 MIT 授權

正式上線前,應使用具代表性的輸入驗證四件事:說話者保留效果、日期與符號的正規化、目標 GPU 的延遲與併發能力,以及所需控制項與模型任務模式是否相容。先從 0.5B 開始;只有當 Tiny 的 Podcast 模式或說話者相似度提升能帶來可量化效益時,再升級至 Tiny。

常見問題

聲音複製需要參考音訊的逐字稿嗎?

inclusionAI 的原生聲音複製範例要求提供參考音訊及其對應逐字稿。SGLang-Omni 可接受 ref_text,但其文件表示文字不會改變說話者 embedding。

Ming-3.0 TTS 可以在 RTX 4090 上執行嗎?

目前沒有官方 RTX 4090 記憶體用量或吞吐量結果。即使可以成功載入,也不代表已具備正式環境可用性;仍應在目標顯示卡上量測延遲、長輸入穩定性與併發請求表現。

Ming-3.0 TTS 有提供託管 API 嗎?

inclusionAI 公布的是本機 Python 與 CLI 介面,而非具定價的託管 API。SGLang-Omni 可透過本機 /v1/audio/speech endpoint 提供 Tiny,但該 endpoint 不支援漸進式音訊串流。