Ming-3.0 TTS im Test: Starkes Cloning, holpriges Deployment

Voice Cloning, Stimmgestaltung, sieben Sprachen, zwei chinesische Dialekte und ausdrucksstarke Ereignisse: Ming-3.0 TTS packt viel Funktionsumfang unter eine MIT-Lizenz. Die offene Frage ist das Deployment. Die offiziellen Tests liefen auf Rechenzentrums-GPUs, während der größere Checkpoint namens „Tiny“ bei Speicherplatz und Arbeitsspeicher alles andere als klein ist.

Erst den passenden Checkpoint wählen, dann Benchmarks vergleichen

Ming-3.0 TTS besteht aus einem dichten 0.5B-Modell und dem Mixture-of-Experts-Modell Tiny mit insgesamt 7.9B Parametern. Pro Token aktiviert Tiny rund 1.3B Parameter. Der sinnvolle Einstieg ist 0.5B; Tiny lohnt sich, wenn der Podcast-Modus mit mehreren Sprechern oder die vom Anbieter gemeldete höhere Sprecherähnlichkeit den deutlich größeren Footprint rechtfertigen.

Die Modellnamen beschreiben eher die Backbones als die vollständigen Sprachpipelines. Hugging Face weist für das 0.5B-Paket 1,479,454,804 BF16-Parameter aus, da auch die Komponenten zur Sprachgenerierung enthalten sind. Die sparse Aktivierung von Tiny kann den Rechenaufwand senken, beseitigt aber weder Speicher- noch Arbeitsspeicherkosten der Experten. Quellen: offizielle 0.5B-Model Card und offizielle Tiny-Model Card.

Das hat inclusionAI veröffentlicht

InclusionAI veröffentlichte im Oktober 2026 beide Checkpoints mitsamt Weights, Inferenzcode, Task-Cookbooks und Docker-Material für 0.5B. Das offizielle Repository dokumentiert den Release und enthält die aktuellen Setup-Anleitungen.

Beide Checkpoints bündeln den Sprach-Backbone, einen Diffusion-Transformer-Head, Audio-Tokenizer, CAM++-Sprecherencoder und Text-Tokenizer. Sie erzeugen Audio mit 44.1 kHz und unterstützen Chinesisch, Englisch, Deutsch, Spanisch, Französisch, Koreanisch und Japanisch; eigene Dialekt-Tasks gibt es für Sichuanesisch und Kantonesisch.

Zum gemeinsamen Funktionsumfang gehören Zero-Shot-Cloning, Stimmgestaltung per natürlicher Sprache, mehr als 100 chinesische Stimmen, fünf englische Stimmen sowie 14 Inline-Cues wie Lachen, Atmen, Husten, Seufzen und Zögern. Außerdem lassen sich Emotion, Geschwindigkeit, Tonhöhe und Lautstärke steuern. Tiny ergänzt einen Podcast-Modus für mehrere Sprecher.

Diese Einstellungen sind eigenständige Task-Modi und keine beliebig kombinierbaren Schalter. Eine freie Vortragsbeschreibung lässt sich weder mit Stimmgestaltung noch mit einer integrierten Stimme, Emotion, Dialekt oder grundlegenden Attributreglern verbinden. Wer in einem Aufruf einen geklonten Sprecher, eine bestimmte Emotion und einen Dialekt benötigt, muss prüfen, ob der unterstützte Task-Vertrag diese Kombination überhaupt abbildet.

Drei Wege zum lokalen Deployment

Ming-3.0 TTS läuft entweder über den nativen Python-Code von inclusionAI oder als HTTP-Server mit SGLang-Omni. Der native 0.5B-Pfad ist der risikoärmste erste Test, Tiny legt den Podcast-Task offen, und SGLang-Omni liefert die sauberste API – jedoch ohne progressives Audio-Streaming.

Der native 0.5B-Weg fixiert PyTorch 2.6, CUDA 12.4 und Transformers 4.46.3. Für die Textnormalisierung von Zahlen, Daten, Einheiten und Symbolen wird pynini==2.1.6 benötigt.

git clone https://github.com/inclusionAI/Ming-3.0-tts.git
cd Ming-3.0-tts
pip install -r requirements.txt
conda install -c conda-forge pynini==2.1.6
hf download inclusionAI/Ming-3.0-tts-0.5B --local-dir Ming-3.0-tts-0.5b
python tools/preflight.py --model_path ./Ming-3.0-tts-0.5b

Nach erfolgreichem Preflight führt dieses offizielle Befehlsmuster einen Cloning-Test aus:

python infer.py \
  --model_path ./Ming-3.0-tts-0.5b \
  --task TTS \
  --language_id English \
  --text "The release candidate passed the final test." \
  --prompt_wav_path /path/to/reference.wav \
  --prompt_text "The exact transcript of the reference recording." \
  --use_spk_emb \
  --output output/clone.wav

Tiny benötigt eine eigene Umgebung, weil seine fixierten Abhängigkeiten abweichen:

conda create -n ming-tiny python=3.10.15 -y
conda activate ming-tiny
pip install -r requirements-tiny.txt
hf download inclusionAI/Ming-3.0-tts-tiny --local-dir Ming-3.0-tts-tiny
python tools/preflight_tiny.py --model_path ./Ming-3.0-tts-tiny

Für den HTTP-Betrieb beschreibt SGLang-Omni einen Server mit einer GPU:

sgl-omni serve --model-path inclusionAI/Ming-3.0-tts-tiny

curl -X POST http://127.0.0.1:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inclusionAI/Ming-3.0-tts-tiny",
    "input": "The release candidate passed the final test.",
    "response_format": "wav",
    "seed": 123
  }' --output speech.wav

SGLang-Omni unterstützt WAV, MP3, FLAC und PCM. Eine Cloning-Referenz wird akzeptiert; reine ref_audio-Pfade löst der Server selbst auf. Das dokumentierte Verhalten von stream=true wartet jedoch ab, bis die Synthese abgeschlossen ist, und gibt anschließend einen einzelnen PCM-Body zurück. Wiedergabe während der laufenden Generierung ist damit nicht möglich.

Qualitätslage: stark beim Cloning, gemischt bei nativen Stimmen

Die stärkste direkt zugängliche unabhängige Evidenz betrifft Ming-3.0-tts-0.5B, nicht Tiny. Am 19. Oktober 2026 führte Artificial Analysis Ming mit 1,188 Elo bei Provider Voice, wo Modelle mit ihren nativen Stimmen antreten. InclusionAI meldet 1,069 Controlled Voice Elo von Artificial Analysis; dort klonen die Modelle dieselben Referenzstimmen.

Im Provider-Voice-Leaderboard von Artificial Analysis lag Ming an diesem Datum unter den Open-Weight-Modellen hinter Fish Audio Drama 3 Preview und Breeze TTS 2. Provider Voice misst native Stimmen, Controlled Voice dagegen Cloning – die Rankings beantworten also unterschiedliche Fragen.

Die detaillierten Tiny-Werte stammen aus den Evaluierungstabellen von inclusionAI. Der Anbieter meldet führende WER-Werte von 0.325% für Deutsch und 0.971% für Spanisch, doch die koreanische CER steigt auf 6.000%. InclusionAI nennt die koreanische Genauigkeit in der offiziellen Tiny-Model Card selbst als Einschränkung.

Produktionsrelevante Einschränkungen

Für Ming-3.0 TTS gibt es weder einen veröffentlichten Preis für eine gehostete API noch ein unabhängiges Arena-Ergebnis speziell für Tiny oder offizielle Anforderungen an Consumer-GPUs. Ohne diese Angaben ist eine belastbare Kapazitätsplanung für Teams ohne Infrastruktur der H800-Klasse nicht möglich.

Das 0.5B-Setup wurde auf H800-80GB und H20-96G getestet. Für Tiny wird ein H800 empfohlen, während SGLang-Omni lediglich angibt, dass der Server eine GPU verwendet. Offizielle Quellen nennen weder den VRAM-Verbrauch auf einer RTX 4090 noch Apple-Silicon-Performance, Tiny-Real-Time-Factor, Parallelität oder Kosten pro erzeugter Stunde.

Ein Praktiker fasste am Tag der Veröffentlichung sowohl den Reiz als auch die fehlenden Daten zusammen:

„Ant open-sourced a 0.5B model that can clone a voice, design a new one from text, and make it laugh, sigh...” — David Hendrickson (@TeksEdge)

Derselbe Beitrag verwies auf fehlende GGUF-Builds und Consumer-GPU-Benchmarks. Das ist eine Nutzerbeobachtung, keine Hardware-Messung; für die Produktionsentscheidung sollten ein lokaler Lade- und Latenztest maßgeblich sein.

Die offizielle Tiny-Model Card berichtet von schwächerer Tonhöhensteuerung als bei Geschwindigkeit und Lautstärke, geringerer Stabilität bei mehreren paralinguistischen Ereignissen sowie einem Podcast-Ergebnis von 2.03% CER bei 2.12 UTMOS. Das liegt unter den 2.24 UTMOS von ZipVoice-Dia. Die Roadmap des offiziellen Repositorys führt den technischen Bericht weiterhin als unfertig.

Fazit nach Einsatzgebiet und Kriterien für die Einführung

Ming-3.0 TTS ist eine sinnvolle Evaluierungsoption für selbst gehostetes Cloning, ausdrucksstarke Sprachaufnahmen, chinesische Dialekte und kommerziell nutzbare Open Weights. Als Standard für latenzarme Sprachagenten oder einen planbaren Betrieb auf einer Desktop-GPU mit 24 GB ist es noch nicht geeignet.

Vor dem Produktivstart sollten vier Punkte mit repräsentativen Eingaben geprüft werden: Sprechererhalt, Normalisierung von Daten und Symbolen, Latenz plus Parallelität auf der gewählten GPU sowie die Kompatibilität benötigter Steuerungen mit den Task-Modi des Modells. Mit 0.5B beginnen; erst zu Tiny wechseln, wenn dessen Podcast-Modus oder der Gewinn bei der Sprecherähnlichkeit einen messbaren Vorteil bringt.

FAQ

Benötigt Voice Cloning ein Referenztranskript?

Die nativen Cloning-Beispiele von inclusionAI verlangen Referenz-Audio und das dazugehörige Transkript. SGLang-Omni akzeptiert ref_text, obwohl die Dokumentation angibt, dass der Text das Speaker Embedding nicht verändert.

Läuft Ming-3.0 TTS auf einer RTX 4090?

Es gibt kein offizielles Ergebnis zu Speicherbedarf oder Durchsatz auf einer RTX 4090. Ein erfolgreicher Modellstart belegt keine Produktionsreife; Latenz, Stabilität bei langen Eingaben und parallele Anfragen sollten auf der Zielkarte gemessen werden.

Bietet Ming-3.0 TTS eine gehostete API?

InclusionAI veröffentlicht lokale Python- und CLI-Schnittstellen, aber keine bepreiste gehostete API. SGLang-Omni stellt Tiny über einen lokalen Endpunkt /v1/audio/speech bereit, dieser streamt Audio jedoch nicht progressiv.