Обзор Ming-3.0 TTS: сильное клонирование голоса, сложное развёртывание

Ming-3.0 TTS объединяет клонирование и создание голосов, семь языков, два китайских диалекта и выразительные аудиометки — всё под лицензией MIT. Главный вопрос не в возможностях модели, а в развёртывании: официальные тесты проводились на серверных GPU, а старший чекпойнт с названием Tiny вовсе не так мал по объёму хранения и требованиям к памяти.

Сначала выберите чекпойнт, потом смотрите на бенчмарки

В линейке Ming-3.0 TTS есть плотная модель 0.5B и смесь экспертов на 7.9B параметров под названием Tiny. У Tiny на токен активируется около 1.3B параметров. Начинать стоит с 0.5B; Tiny имеет смысл выбирать, если вам действительно нужны многоголосые подкасты или заявленное разработчиком преимущество в схожести с голосом диктора оправдывает более тяжёлый стек.

Названия моделей скорее описывают их языковые основы, а не полный размер речевого пайплайна. Hugging Face указывает для пакета 0.5B 1,479,454,804 параметра BF16, поскольку в него входят и компоненты генерации речи. Разреженная активация Tiny может снизить вычислительную нагрузку, но не избавляет от затрат на хранение и память для экспертов. Источники: официальная карточка модели 0.5B и официальная карточка Tiny.

Что выпустила inclusionAI

В октябре 2026 года InclusionAI выпустила оба чекпойнта вместе с весами, кодом инференса, практическими рецептами для задач и Docker-материалами для 0.5B. В официальном репозитории зафиксирован релиз и опубликованы актуальные инструкции по настройке.

Оба чекпойнта включают языковую модель, голову diffusion-transformer, аудиотокенизатор, энкодер диктора CAM++ и текстовый токенизатор. Они генерируют звук с частотой 44.1 кГц и поддерживают китайский, английский, немецкий, испанский, французский, корейский и японский языки; для сычуаньского и кантонского предусмотрены отдельные диалектные задачи.

Общие возможности — zero-shot-клонирование, создание голоса по текстовому описанию, более 100 китайских голосов, пять английских голосов и 14 встроенных аудиометок: смех, дыхание, кашель, вздохи и запинки. Также доступны управление эмоцией, скоростью, высотой тона и громкостью. Tiny дополнительно умеет генерировать многоголосые подкасты.

Эти настройки реализованы как отдельные режимы задач, а не как свободно комбинируемые переключатели. Свободное управление подачей нельзя совместить с дизайном голоса, встроенным голосом, эмоцией, диалектом или базовыми атрибутами. Если продукту нужен клонированный голос с заданной эмоцией и диалектом в одном запросе, необходимо проверить, позволяет ли поддерживаемый контракт задачи выразить такое сочетание.

Три варианта локального развёртывания

Ming-3.0 TTS можно запускать через нативный Python-код inclusionAI или HTTP-сервер SGLang-Omni. Нативный запуск 0.5B — наименее рискованный вариант для первого теста, нативный Tiny открывает режим подкастов, а SGLang-Omni даёт наиболее удобный API, но без потоковой выдачи аудио.

Нативный путь для 0.5B фиксирует PyTorch 2.6, CUDA 12.4 и Transformers 4.46.3. Для нормализации чисел, дат, единиц измерения и символов нужен pynini==2.1.6.

git clone https://github.com/inclusionAI/Ming-3.0-tts.git
cd Ming-3.0-tts
pip install -r requirements.txt
conda install -c conda-forge pynini==2.1.6
hf download inclusionAI/Ming-3.0-tts-0.5B --local-dir Ming-3.0-tts-0.5b
python tools/preflight.py --model_path ./Ming-3.0-tts-0.5b

После успешного preflight эта официальная схема команды запускает проверку клонирования:

python infer.py \
  --model_path ./Ming-3.0-tts-0.5b \
  --task TTS \
  --language_id English \
  --text "The release candidate passed the final test." \
  --prompt_wav_path /path/to/reference.wav \
  --prompt_text "The exact transcript of the reference recording." \
  --use_spk_emb \
  --output output/clone.wav

Для Tiny требуется отдельное окружение, так как закреплённые зависимости отличаются:

conda create -n ming-tiny python=3.10.15 -y
conda activate ming-tiny
pip install -r requirements-tiny.txt
hf download inclusionAI/Ming-3.0-tts-tiny --local-dir Ming-3.0-tts-tiny
python tools/preflight_tiny.py --model_path ./Ming-3.0-tts-tiny

Для HTTP-обслуживания в документации SGLang-Omni приведён сервер на одном GPU:

sgl-omni serve --model-path inclusionAI/Ming-3.0-tts-tiny

curl -X POST http://127.0.0.1:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inclusionAI/Ming-3.0-tts-tiny",
    "input": "The release candidate passed the final test.",
    "response_format": "wav",
    "seed": 123
  }' --output speech.wav

SGLang-Omni поддерживает WAV, MP3, FLAC и PCM. Сервис принимает одну референсную запись для клонирования, а пути ref_audio без полного адреса разрешаются на стороне сервера. Согласно документации, при stream=true система ждёт окончания синтеза и лишь затем возвращает единое PCM-тело, поэтому воспроизводить звук во время генерации нельзя.

Качество: сильное клонирование, неоднозначные встроенные голоса

Самые убедительные независимые данные относятся к Ming-3.0-tts-0.5B, а не к Tiny. На 19 октября 2026 года Artificial Analysis оценивал Ming в 1,188 Elo в категории Provider Voice, где модели используют собственные голоса. InclusionAI сообщает о 1,069 Controlled Voice Elo от Artificial Analysis — в этой категории модели клонируют один и тот же набор референсных голосов.

В рейтинге Artificial Analysis Provider Voice Ming на указанную дату располагалась среди моделей с открытыми весами ниже Fish Audio Drama 3 Preview и Breeze TTS 2. Provider Voice измеряет качество встроенных голосов, а Controlled Voice — качество клонирования, поэтому эти рейтинги отвечают на разные вопросы.

Подробные оценки Tiny взяты из таблиц тестирования inclusionAI. Разработчик заявляет лидирующий WER: 0.325% для немецкого и 0.971% для испанского, но CER для корейского достигает 6.000%. InclusionAI называет точность в корейском ограничением в официальной карточке модели Tiny.

Ограничения, важные для продакшена

Для Ming-3.0 TTS не опубликованы цена облачного API, независимый результат Tiny в арене для конкретного чекпойнта и официальные требования к потребительским GPU. Без этих данных командам без инфраструктуры уровня H800 сложно надёжно планировать мощности.

Конфигурация 0.5B тестировалась на H800-80GB и H20-96G. Для Tiny рекомендуется H800, тогда как SGLang-Omni сообщает лишь о работе сервера на одном GPU. В официальных источниках нет данных о потреблении VRAM на RTX 4090, производительности на Apple Silicon, real-time factor Tiny, параллельной обработке или стоимости часа сгенерированного аудио.

Один из практиков в день запуска удачно сформулировал привлекательность релиза и недостающие данные:

«Ant открыла исходный код модели на 0.5B, которая умеет клонировать голос, создавать новый по тексту и смеяться, вздыхать...» — David Hendrickson (@TeksEdge)

В том же посте отмечалось отсутствие сборок GGUF и бенчмарков на потребительских GPU. Это наблюдение пользователя, а не измерение железа; решение о продакшен-развёртывании должно опираться на локальную проверку загрузки и задержки.

В официальной карточке Tiny указаны более слабый контроль высоты тона по сравнению со скоростью и громкостью, меньшая стабильность при нескольких паралингвистических событиях и результат подкастов: 2.03% CER при 2.12 UTMOS. Это ниже 2.24 UTMOS у ZipVoice-Dia. В дорожной карте официального репозитория технический отчёт по-прежнему помечен как незавершённый.

Итог по сценариям и условия внедрения

Ming-3.0 TTS стоит оценить для самостоятельного хостинга клонирования голосов, выразительной начитки, работы с китайскими диалектами и коммерчески применимых открытых весов. Но пока это не вариант по умолчанию для разговорных агентов с низкой задержкой или предсказуемой работы на настольном GPU с 24 ГБ памяти.

Перед запуском в продакшен проверьте на репрезентативных данных четыре вещи: сохранение голоса диктора, нормализацию дат и символов, задержку и параллельную обработку на выбранном GPU, а также совместимость нужных настроек с режимами задач модели. Начните с 0.5B и переходите на Tiny, только если режим подкастов или выигрыш в схожести с голосом даёт измеримую пользу.

FAQ

Нужна ли расшифровка референсной записи для клонирования голоса?

Нативные примеры клонирования от inclusionAI требуют аудиореференс и соответствующую ему расшифровку. SGLang-Omni принимает ref_text, хотя в документации сказано, что этот текст не влияет на эмбеддинг диктора.

Можно ли запустить Ming-3.0 TTS на RTX 4090?

Официальных данных о памяти или производительности на RTX 4090 нет. Даже успешная загрузка модели не подтверждает её готовность к продакшену: на целевой карте следует измерить задержку, стабильность на длинных входах и обработку параллельных запросов.

Есть ли у Ming-3.0 TTS облачный API?

InclusionAI публикует локальные интерфейсы Python и CLI, а не платный облачный API. SGLang-Omni предоставляет Tiny через локальный endpoint /v1/audio/speech, но этот endpoint не передаёт аудио прогрессивно.