Qwen Audio 3.0 Realtime: Характеристики, цены и доступ

Qwen Audio 3.0 Realtime — это функция аудио в реальном времени в текущей линейке Qwen: модель, с которой можно разговаривать и которая отвечает в тот же миг, с задержкой, настолько низкой, что это ощущается как телефонный разговор. На платформе Alibaba она предоставляется через Qwen3-Omni / Qwen3.5-Omni Realtime API (идентификаторы моделей вроде qwen3-omni-flash-realtime), с Qwen-TTS-Realtime для чистого преобразования текста в речь и qwen3-asr-flash для транскрибации. Размещаемые omni Realtime-модели распознают более 100 языков, работают в полнодуплексном режиме с возможностью прерывания и стоят лишь доли цента за минуту разговора.

Самый быстрый способ начать — qwen3-omni-flash-realtime через WebSocket. Ниже описано, что делает каждая модель, сколько это стоит, как она соотносится с OpenAI Realtime и Gemini Live, а также как начать работу. Каждая спецификация, цена и идентификатор модели связаны с их первоисточником, в основном с документацией Model Studio Realtime от Alibaba и model card Qwen3-Omni; поставщики здесь быстро вносят изменения, поэтому, если какой-либо показатель изменился, доверяйте связанному источнику.

Как называются аудиомодели Qwen

Аудиолинейка Qwen проходит через несколько поколений, и знание этой эволюции облегчает выбор правильной модели:

• Qwen-Audio (2023) и Qwen2-Audio были моделями для *понимания* аудио: на входе аудио, на выходе текст. Они не отвечали голосом.
• Текущее поколение объединяет аудио в модели omni. Qwen3-Omni и Qwen3.5-Omni принимают текст, изображения, аудио и видео и генерируют как текст, так и естественную речь.
• Поведение в реальном времени — это *уровень предоставления*: те же omni-модели, вызываемые через Realtime API, с идентификаторами моделей, оканчивающимися на -realtime.

Итак, «Qwen Audio 3.0 Realtime» (как бы вы ни расставляли знаки препинания) указывает на семейство Qwen3-Omni, используемое в реальном времени, и именно этот стек рассматривается в остальной части этого руководства.

Стек аудио в реальном времени Qwen в трёх слоях

Полезно перестать думать об одной модели и вместо этого думать о пайплайне. Приложение для голоса в продакшене обычно задействует три модели Qwen, и вы можете использовать их вместе или независимо.

1. Речь на вход — qwen3-asr-flash. Потоковое распознавание речи по WebSocket, оптимизированное для живых субтитров и фронтендов голосовых агентов. Оно расшифровывает речь на очень широком диапазоне языков и позиционируется как недорогой рабочий инструмент для транскрибации. 2. Разговор в реальном времени — qwen3.5-omni-flash-realtime, qwen3-omni-flash-realtime, qwen3.5-omni-plus-realtime. Это основа: на вход подаются аудио (и видеокадры), а на выходе получаются текст и синтезированная речь, через постоянное соединение, которое остаётся открытым между ходами вместо повторного открытия на каждый запрос. 3. Речь на выход — Qwen-TTS-Realtime. Специализированная потоковая модель преобразования текста в речь, когда нужно только превратить текст в голос, например озвучить ответ, который сгенерировал текстовый LLM.

Если вы используете модель omni Realtime для промежуточного слоя, вам часто не нужны отдельные вызовы ASR и TTS, поскольку она обрабатывает распознавание речи и синтез речи end to end. Отдельные модели существуют на случай, когда вы хотите комбинировать и подбирать компоненты по своему усмотрению (например, собственный STT плюс Qwen TTS).

Характеристики, которые действительно важны

Вот числа из документации Model Studio Realtime, а не со страниц маркетинга.

Некоторые из них заслуживают особого внимания. Семантическое прерывание означает, что модель может понять, когда пользователь действительно перебивает, а когда просто подает сигналы внимания вроде «мм-хм», — и именно в этом разница между естественным и раздражающим голосовым агентом. Поддержка WebRTC важна, если вы разрабатываете в браузере, поскольку она сама обеспечивает подавление эха и компенсацию джиттера. А показатель распознавания 113 языков относится к размещенному API; выпуск с открытыми весами охватывает более узкий набор, как отмечено ниже.

Что касается задержки: выделенный потоковый путь Qwen-TTS-Realtime ориентирован примерно на 97 мс задержки первого пакета, согласно документации по потоковой передаче Qwen3-TTS, и именно этот показатель определяет, кажется ли речь мгновенной. Эта цифра — время до первого аудиофрагмента, а не полное время ответа. Для полного разговорного цикла архитектура Thinker–Talker создана для потоковой работы; в техническом отчёте Qwen3-Omni описывается многокодбуковая схема, нацеленная на минимизацию задержки, а результаты тестов сообщества показывают время ответа audio-to-audio в диапазоне менее 250 мс при full-duplex, прерываемых ходах. Реальные значения зависят от вашего региона, сети и нагрузки, поэтому измеряйте на собственном трафике, а не доверяйте одной громкой цифре.

Цены на аудио в реальном времени Qwen, простыми числами

Цены на hosted realtime у Qwen существенно ниже, чем у закрытых realtime API. Это тарифы за миллион токенов (input / output), как указано в каталоге моделей DashScope Portkey (сторонний агрегатор, отражающий тарифы Alibaba; уточните актуальное значение в консоли Model Studio перед тем, как делать выбор):

Что это означает за один вызов. Аудио требует много токенов: примерно 427 токенов на минуту аудио. Возьмём 10-минутный голосовой разговор, где пользователь говорит 5 минут, а модель отвечает 5 минут. В qwen3-omni-flash-realtime это примерно 2,135 входных токенов и 2,135 выходных токенов, то есть примерно $0.001 на вход + $0.004 на выход ≈ полцента за 10-минутный звонок. Даже в больших масштабах аудио в реальном времени недорого; людей удивляет стоимость времени разговора на стороне *выхода*, поскольку устные ответы стоят примерно в 4 раза дороже входа.

Еще два момента, прежде чем вы составите бюджет:

• Существует бесплатная квота, но она зависит от региона. На сингапурском (международном) endpoint предлагалось 1 million входных и 1 million выходных токенов бесплатно на 90 days; на американском endpoint — нет. Квоты меняются, поэтому перед планированием обязательно уточните актуальное предложение в Model Studio console для вашего региона.
• Уровень qwen3.5-omni использует ценовые диапазоны по размеру запроса, а не фиксированную ставку, поэтому один крупный запрос с большим контекстом может попасть в другой ценовой диапазон, чем несколько небольших. Проверьте это на реальном профиле трафика, прежде чем принимать решение.

Как это сравнивается с OpenAI Realtime и Gemini Live

Среди универсальных frontier LLM-вендоров три очевидных варианта для speech-to-speech в реальном времени к середине 2026 года — это OpenAI Realtime API, Gemini Live от Google и omni Realtime-семейство Qwen. (Специализированные voice-провайдеры, такие как ElevenLabs, Deepgram, Cartesia и Hume, активно конкурируют именно в TTS и STT; это сравнение касается полного пути через multimodal model.) Вместо того чтобы приводить цены конкурентов, которые меняются каждый месяц, вот как стоит рассуждать при выборе:

• Стоимость. При указанных выше ставках за вызов realtime-цены Qwen находятся в нижней части диапазона среди вариантов hosted frontier-моделей. Для сравнения, у OpenAI Realtime audio стоимость составляла примерно $0.06 за минуту входа и $0.24 за минуту выхода (разбивка цен здесь); исходя из этого, тот же 10-минутный звонок, который на qwen3-omni-flash-realtime стоит около полцента, у OpenAI обойдётся ближе к $1.50. Перед тем как полагаться на разницу, проверьте актуальные тарифы с обеих сторон, поскольку всё это меняется, но разрыв велик. Qwen также является единственным из трёх с версией open-weight, которую можно разместить у себя, чтобы снизить предельную стоимость почти до нуля.
• Открытость. OpenAI Realtime и Gemini Live — это только закрытые API. Qwen3-Omni поставляется с открытыми весами, так что вы можете перейти от hosted к self-hosted без переписывания приложения под поведение новой модели.
• Качество. Сторонние обзоры сообщают, что верхний уровень qwen3.5-omni-plus сопоставим с Gemini 3.1 Pro или превосходит его в некоторых бенчмарках по пониманию аудио; воспринимайте любой отдельный бенчмарк как исходную гипотезу и тестируйте на собственном аудио.
• Экосистема. У OpenAI и Google сегодня более развитые инструменты, SDK и примеры от сообщества. Документация Qwen хорошая, но вам придётся сильнее опираться на спецификацию raw WebSocket/WebRTC.

Практический вывод: если важны стоимость или возможность самостоятельного размещения, Qwen — самый сильный выбор. Если вам нужен наиболее зрелый опыт использования SDK и вы готовы за него платить, варианты OpenAI и Google по-прежнему лидируют по уровню проработки. Полную разбивку стоимости закрытых альтернатив см. в связанном материале ниже.

Какой вариант вам выбрать?

Уровни 3.5 добавляют клонирование голоса, более длинный контекст и увеличенные лимиты диалога (до 100 ходов и 600 секунд сохранённого аудио) по сравнению с более лёгким qwen3-omni-flash (8 ходов). Если вы создаёте прототип, начните с Flash; переходите на Plus только тогда, когда упрётесь в конкретный лимит, который можете назвать.

Как получить к нему доступ

Размещённый, прямой способ. Создайте API key в Alibaba Cloud Model Studio, затем откройте соединение WebSocket с аутентификацией Bearer (или согласуйте WebRTC через SDP POST для браузерных приложений). Вы отправляете PCM audio и получаете обратно PCM audio plus text. DashScope Python SDK оборачивает Realtime interface, если вы предпочитаете не управлять сокетом вручную. Базовое соединение короткое (набросок, обработка ошибок опущена):

```python import os, json, base64, websocket

MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )

# 1. настройте сеанс: voice, output format, server-side turn detection ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))

# 2. передавать аудио с микрофона вверх в виде base64 PCM 16 kHz фреймов ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))

# 3. читать события обратно; response.audio.delta передаёт PCM 24 kHz для воспроизведения while True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```

При server-side VAD модель сама определяет, когда пользователь перестал говорить; переключитесь на manual, если хотите самостоятельно управлять границами реплик. Поток событий closely follows the OpenAI Realtime shape, so existing Realtime client code ports with small changes. Подтвердите точные имена полей, список голосов и host регионального endpoint по Realtime docs перед выпуском, поскольку они отличаются между развертываниями в Singapore и US и меняются вместе с API.

Self-hosted. Open-weight Qwen3-Omni использует архитектуру Thinker–Talker Mixture-of-Experts (30B total, ~3B active). Alibaba recommends vLLM over plain Transformers for it. For BF16 inference of the full 30B model, third-party deployment guides put the floor at a single 80GB card (A100 or H100); a 24 GB card like an RTX 4090 is not enough for the full weights, though quantized builds lower that bar.

Загвоздка в том, что обслуживание в реальном времени сложнее, чем пакетный inference. Те, кто разворачивает систему у себя, сообщают, что им приходится ограничивать KV cache, чтобы избежать зависаний при одновременной нагрузке, а пропускная способность одной карты по токенам отстаёт от hosted API. Стеки обслуживания, настроенные на streaming, существенно сокращают этот разрыв: инженеры, работающие над Red Hat AI и vLLM, сообщали, что перекрытие этапов pipeline сокращает генерацию речи для 3-секундного клипа примерно с 8 секунд до около 0.5. Это реальный выигрыш, но он требует дополнительной инженерной работы. Self-hosting убирает стоимость на токен, но добавляет затраты на GPU и ops, так что это окупается при высоком, стабильном объёме, а не для прототипов.

Для реального омни-голоса сегодня каноническим маршрутом является endpoint DashScope. Если ваш стек уже направляет нескольких провайдеров через один шлюз, перед ним можно поставить агрегатор, но сначала убедитесь, что конкретные IDs моделей Qwen realtime есть в его каталоге, поскольку многие ретрансляторы поддерживают текстовые и image-модели без realtime-аудио-уровня.

Ограничения, о которых стоит знать перед тем, как строить на его основе

• Сеансы ограничены 120 минутами. Для всего, что длится дольше, например для линии поддержки или долгого занятия с репетитором, нужна логика повторного подключения, которая сохраняет контекст между сокетами.
• Регион влияет и на бесплатную квоту, и на доступность. Тестируйте на том конечном пункте, на который будете разворачивать решение, а не на том, на котором вы зарегистрировались первым.
• Hosted и open-weight — это не одно и то же. Hosted API заявляет распознавание на 113 языках и генерацию на 36 языках; выпуск open-weight Qwen3-Omni охватывает более узкий набор (19 языков для речевого ввода и 10 языков для речевого вывода). Если вам нужен конкретный язык, проверьте его именно в той версии, которую вы планируете выпускать.
• Стоимость в реальном времени масштабируется по времени разговора, а не по числу запросов. Поскольку аудио требует много токенов, разговорчивый пользователь обходится дороже, чем немногословный. Рассчитывайте счёт по минутам разговора, а не по количеству вызовов.

Часто задаваемые вопросы

Поддерживает ли Qwen 3 аудио?

Да. Модели Qwen3-Omni изначально мультимодальны: они принимают на вход аудио, текст, изображения и видео и могут отвечать в реальном времени текстом или речью.

Может ли Qwen генерировать аудио (а не только понимать его)?

Да. В отличие от оригинального Qwen-Audio, который создавал только текст, модели omni Realtime и Qwen-TTS-Realtime генерируют озвученный аудиовыход, включая клонированные голоса на уровне 3.5.

Qwen real-time audio бесплатен?

Существует квота на бесплатный пробный период: исторически 1 миллион входных и 1 миллион выходных токенов на 90 дней на международной (Сингапур) конечной точке. После этого оплата взимается за каждый токен, а полностью open-weight Qwen3-Omni можно бесплатно запускать, если вы предоставляете собственный GPU.

Как запустить Qwen audio локально?

Скачайте open-weight Qwen3-Omni (30B-A3B) и запустите его с vLLM. Для полной модели в BF16 вам понадобится примерно карта на 80GB (A100 или H100); более слабые потребительские GPU справляются только с квантизованными сборками, а не с полными весами.

Похожие материалы

Основные источники:

• Документация по Alibaba Model Studio Realtime API
• Карточка модели Qwen3-Omni и открытые веса (GitHub)

Каковы цены альтернатив:

• Цены OpenAI Realtime API
• Gemini 3.5 Live Translate
• Обзор Seed Audio