Recensione Ming-3.0 TTS: cloning convincente, deployment ancora acerbo

Ming-3.0 TTS riunisce clonazione vocale, progettazione della voce, sette lingue, due dialetti cinesi e segnali espressivi, il tutto con licenza MIT. Il punto debole è il deployment: i test ufficiali fanno riferimento a GPU da datacenter e il checkpoint più grande, chiamato “Tiny”, non è affatto piccolo né per spazio di archiviazione né per memoria richiesta.

Prima dei benchmark, scegli il checkpoint giusto

Ming-3.0 TTS comprende un modello denso da 0.5B e un modello mixture-of-experts da 7.9B parametri totali denominato Tiny, che ne attiva circa 1.3B per token. Conviene partire da 0.5B; Tiny ha senso quando la generazione di podcast con più speaker o la migliore somiglianza vocale dichiarata dal fornitore giustificano l'ingombro superiore.

I nomi dei modelli raccontano più dei backbone che delle pipeline vocali complete. Hugging Face indica 1,479,454,804 parametri BF16 per il pacchetto 0.5B, perché include anche i componenti per la generazione del parlato. L'attivazione sparsa di Tiny può ridurre il calcolo, ma non elimina il costo in termini di storage e memoria degli esperti. Fonti: model card ufficiale 0.5B e model card ufficiale Tiny.

Cosa ha pubblicato inclusionAI

InclusionAI ha pubblicato entrambi i checkpoint, completi di pesi, codice di inferenza, cookbook per i task e materiale Docker per 0.5B, nell'ottobre 2026. Il repository ufficiale registra il rilascio e contiene le istruzioni di installazione aggiornate.

Entrambi i checkpoint includono il backbone linguistico, una testa diffusion-transformer, il tokenizer audio, l'encoder speaker CAM++ e il tokenizer testuale. Producono audio a 44.1 kHz e supportano cinese, inglese, tedesco, spagnolo, francese, coreano e giapponese; task distinti per i dialetti coprono sichuanese e cantonese.

Le funzioni condivise comprendono cloning zero-shot, progettazione vocale in linguaggio naturale, oltre 100 voci cinesi, cinque voci inglesi e 14 segnali inline, tra cui risate, respiri, colpi di tosse, sospiri ed esitazioni. È inoltre possibile controllare emozione, velocità, tono e volume. Tiny aggiunge la generazione di podcast con più speaker.

I controlli corrispondono a modalità di task separate, non a interruttori combinabili liberamente. La resa free-form non può essere usata insieme a voice design, voce integrata, emozione, dialetto o controlli base degli attributi. Un prodotto che richieda in un'unica chiamata uno speaker clonato, un'emozione specifica e un dialetto deve verificare che il contratto dei task supportati possa esprimere quella combinazione.

Tre modi per eseguirlo in locale

Ming-3.0 TTS può essere eseguito tramite il codice Python nativo di inclusionAI oppure con il server HTTP di SGLang-Omni. Il percorso nativo 0.5B è il test iniziale meno rischioso, Tiny nativo espone il task podcast e SGLang-Omni offre l'API più lineare, ma senza streaming progressivo dell'audio.

Il percorso nativo 0.5B fissa PyTorch 2.6, CUDA 12.4 e Transformers 4.46.3. La normalizzazione testuale di numeri, date, unità e simboli richiede pynini==2.1.6.

git clone https://github.com/inclusionAI/Ming-3.0-tts.git
cd Ming-3.0-tts
pip install -r requirements.txt
conda install -c conda-forge pynini==2.1.6
hf download inclusionAI/Ming-3.0-tts-0.5B --local-dir Ming-3.0-tts-0.5b
python tools/preflight.py --model_path ./Ming-3.0-tts-0.5b

Dopo il superamento del preflight, questo schema di comando ufficiale esegue un test di clonazione:

python infer.py \
  --model_path ./Ming-3.0-tts-0.5b \
  --task TTS \
  --language_id English \
  --text "The release candidate passed the final test." \
  --prompt_wav_path /path/to/reference.wav \
  --prompt_text "The exact transcript of the reference recording." \
  --use_spk_emb \
  --output output/clone.wav

Tiny richiede un ambiente separato perché le sue dipendenze fissate sono diverse:

conda create -n ming-tiny python=3.10.15 -y
conda activate ming-tiny
pip install -r requirements-tiny.txt
hf download inclusionAI/Ming-3.0-tts-tiny --local-dir Ming-3.0-tts-tiny
python tools/preflight_tiny.py --model_path ./Ming-3.0-tts-tiny

Per servire il modello via HTTP, SGLang-Omni documenta un server su una sola GPU:

sgl-omni serve --model-path inclusionAI/Ming-3.0-tts-tiny

curl -X POST http://127.0.0.1:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inclusionAI/Ming-3.0-tts-tiny",
    "input": "The release candidate passed the final test.",
    "response_format": "wav",
    "seed": 123
  }' --output speech.wav

SGLang-Omni supporta WAV, MP3, FLAC e PCM. Accetta un riferimento per il cloning e i percorsi ref_audio senza prefisso vengono risolti dal server. Il comportamento documentato di stream=true attende il termine della sintesi prima di restituire un unico body PCM: non consente quindi la riproduzione mentre la generazione è ancora in corso.

Qualità: cloning solido, voci native meno uniformi

L'evidenza indipendente più solida e direttamente accessibile riguarda Ming-3.0-tts-0.5B, non Tiny. Il 19 ottobre 2026, Artificial Analysis attribuiva a Ming 1,188 Elo su Provider Voice, dove i modelli usano le rispettive voci native. InclusionAI riporta invece un Controlled Voice Elo di 1,069 da Artificial Analysis, scenario in cui i modelli clonano le stesse voci di riferimento.

La classifica Provider Voice di Artificial Analysis collocava Ming, in quella data, dietro Fish Audio Drama 3 Preview e Breeze TTS 2 tra i modelli open-weight. Provider Voice misura le voci native, mentre Controlled Voice misura il cloning: le due classifiche rispondono quindi a domande diverse.

I punteggi dettagliati di Tiny provengono dalle tabelle di valutazione di inclusionAI. Il fornitore riporta un WER ai vertici di 0.325% per il tedesco e 0.971% per lo spagnolo, ma il CER coreano arriva a 6.000%. InclusionAI identifica l'accuratezza in coreano come un limite nella model card ufficiale di Tiny.

I limiti da considerare in produzione

Ming-3.0 TTS non ha un prezzo pubblicato per un'API ospitata, un risultato indipendente nell'arena specifico per Tiny o requisiti ufficiali per GPU consumer. Queste assenze impediscono una pianificazione affidabile della capacità per i team privi di infrastruttura di classe H800.

La configurazione 0.5B è stata testata su H800-80GB e H20-96G. Tiny raccomanda H800, mentre SGLang-Omni si limita a dichiarare che il proprio server usa una GPU. Le fonti ufficiali non pubblicano l'uso di VRAM su RTX 4090, prestazioni su Apple Silicon, real-time factor di Tiny, concorrenza o costo per ora generata.

Un professionista, il giorno del lancio, ha riassunto così l'interesse e le informazioni mancanti:

“Ant open-sourced a 0.5B model that can clone a voice, design a new one from text, and make it laugh, sigh...” — David Hendrickson (@TeksEdge)

Lo stesso post segnalava l'assenza di build GGUF e benchmark su GPU consumer. Si tratta di un'osservazione utente, non di una misurazione hardware; la decisione per la produzione dovrebbe basarsi su test locali di caricamento e latenza.

La model card ufficiale di Tiny riporta un controllo del tono più debole rispetto a velocità e volume, minore stabilità in presenza di più eventi paralinguistici e un risultato podcast di 2.03% CER con 2.12 UTMOS, inferiore ai 2.24 UTMOS di ZipVoice-Dia. La roadmap del repository ufficiale indica ancora il report tecnico come non completato.

Verdetto per carico di lavoro e criteri di adozione

Ming-3.0 TTS merita una valutazione per cloning self-hosted, narrazione espressiva, lavoro sui dialetti cinesi e pesi open utilizzabili commercialmente. Non è ancora la scelta predefinita per agenti conversazionali a bassa latenza o per un funzionamento prevedibile su una GPU desktop da 24 GB.

Prima della produzione, verifica quattro aspetti con input rappresentativi: mantenimento dello speaker, normalizzazione di date e simboli, latenza e concorrenza sulla GPU scelta, compatibilità tra i controlli necessari e le modalità di task del modello. Parti da 0.5B; passa a Tiny solo se la sua modalità podcast o il guadagno nella somiglianza vocale porta un beneficio misurabile.

FAQ

Il voice cloning richiede la trascrizione del riferimento?

Gli esempi nativi di cloning di inclusionAI richiedono l'audio di riferimento e la relativa trascrizione. SGLang-Omni accetta ref_text, anche se la sua documentazione precisa che il testo non modifica l'embedding dello speaker.

Ming-3.0 TTS può funzionare su una RTX 4090?

Non sono disponibili risultati ufficiali su memoria o throughput per RTX 4090. Un caricamento riuscito non dimostrerebbe l'idoneità alla produzione; occorre misurare latenza, stabilità con input lunghi e richieste concorrenti sulla scheda di destinazione.

Ming-3.0 TTS offre un'API ospitata?

InclusionAI pubblica interfacce Python e CLI locali, non un'API ospitata con prezzi pubblicati. SGLang-Omni espone Tiny tramite un endpoint locale /v1/audio/speech, ma tale endpoint non effettua streaming progressivo dell'audio.