Qwen Audio 3.0 Realtime: 사양, 가격 및 이용 방법

Qwen Audio 3.0 Realtime는 Qwen의 현재 라인업에서 실시간 오디오 기능입니다. 즉, 말하면 바로 응답하는 모델로, 휴대전화 통화처럼 느껴질 만큼 지연 시간이 낮습니다. Alibaba의 플랫폼에서는 Qwen3-Omni / Qwen3.5-Omni Realtime API(qwen3-omni-flash-realtime 같은 모델 ID)을 통해 제공되며, 순수 텍스트 음성 변환용으로는 Qwen-TTS-Realtime, 전사용으로는 qwen3-asr-flash를 제공합니다. 호스팅되는 omni Realtime 모델은 100개 이상의 언어를 인식하고, 중단이 가능한 full-duplex로 동작하며, 대화 1분당 1센트의 일부에 불과한 비용이 듭니다.

가장 빠르게 시작하는 방법은 WebSocket을 통한 qwen3-omni-flash-realtime입니다. 아래에는 각 모델의 기능, 비용, OpenAI Realtime 및 Gemini Live와의 비교, 그리고 시작 방법이 설명되어 있습니다. 모든 사양, 가격, 모델 ID는 주요 출처에 연결되어 있으며, 대부분 Alibaba의 Model Studio Realtime 문서와 Qwen3-Omni 모델 카드에서 가져왔습니다. 이 분야는 공급업체의 변화가 빠르므로, 수치가 달라졌다면 연결된 출처를 신뢰하세요.

Qwen 오디오 모델의 명명 방식

Qwen 오디오 라인은 여러 세대를 거쳐 이어지며, 그 계보를 알면 적합한 모델을 쉽게 선택할 수 있습니다:

• Qwen-Audio (2023)와 Qwen2-Audio는 오디오 *이해* 모델이었습니다: 오디오를 입력받고 텍스트를 출력했습니다. 이들은 되돌려 말하지는 않았습니다.
• 현재 세대는 오디오를 omni 모델에 통합합니다. Qwen3-Omni와 Qwen3.5-Omni는 텍스트, 이미지, 오디오, 비디오를 처리하며, 텍스트와 자연스러운 음성을 모두 생성합니다.
• 실시간 동작은 *전달 계층*입니다: Realtime API를 통해 호출되는 동일한 omni 모델이며, 모델 ID는 -realtime로 끝납니다.

그래서 "Qwen Audio 3.0 Realtime" (어떻게 구두점을 찍든) 는 실시간으로 사용되는 Qwen3-Omni 패밀리를 가리키며, 이 가이드의 나머지 부분은 그 스택을 다룹니다.

세 계층으로 구성된 Qwen 실시간 오디오 스택

하나의 모델에 대해 생각하는 것을 멈추고 대신 파이프라인에 대해 생각하면 도움이 됩니다. 프로덕션 음성 앱은 일반적으로 세 가지 Qwen 모델을 사용하며, 이 모델들을 함께 사용하거나 개별적으로 사용할 수 있습니다.

1. Speech in — qwen3-asr-flash. WebSocket을 통한 스트리밍 음성 인식으로, 실시간 자막과 음성 에이전트 프런트엔드에 맞게 튜닝되어 있습니다. 매우 넓은 언어 범위를 전사하며, 저렴한 전사 작업용 모델로 가격이 책정되어 있습니다. 2. Real-time conversation — qwen3.5-omni-flash-realtime, qwen3-omni-flash-realtime, qwen3.5-omni-plus-realtime. 이것이 핵심입니다: 오디오(및 비디오 프레임)가 입력되고, 텍스트와 합성 음성이 출력되며, 요청마다 다시 열지 않고 턴 간 내내 열린 상태를 유지하는 지속 연결을 통해 처리됩니다. 3. Speech out — Qwen-TTS-Realtime. 텍스트를 음성으로 바꾸는 것만 필요할 때 사용하는 전용 스트리밍 텍스트-음성 변환 모델로, 예를 들어 텍스트 LLM이 생성한 답변을 읽어주는 데 적합합니다.

중간 계층에 omni Realtime 모델을 사용하면, 음성 입력과 음성 출력을 end to end로 처리하므로 별도의 ASR 및 TTS 호출이 अक्सर 필요하지 않습니다. 별도 모델은 조합해서 사용하고 싶을 때 존재합니다(예: 자체 STT와 Qwen TTS를 함께 사용하는 경우).

실제로 중요한 사양

다음은 마케팅 페이지가 아니라 Model Studio Realtime 문서의 수치입니다.

이 중 몇 가지는 특히 강조할 만합니다. Semantic interruption은 사용자가 대화를 끊고 들어오는 경우와 "mm-hmm"처럼 단순히 맞장구를 치는 경우를 모델이 구분할 수 있다는 뜻으로, 이는 자연스러운 음성 에이전트와 거슬리는 음성 에이전트의 차이입니다. WebRTC support는 브라우저에서 개발 중이라면 중요합니다. 에코 캔슬레이션과 지터를 자동으로 처리해 주기 때문입니다. 그리고 113-language 인식 수치는 호스팅된 API에 대한 것이며, 아래에서 언급하듯 오픈 웨이트 릴리스는 더 좁은 범위를 지원합니다.

지연 시간에 대해: 전용 Qwen-TTS-Realtime 스트리밍 경로는 Qwen3-TTS 스트리밍 문서에 따르면 대략 97 ms의 첫 패킷 지연 시간을 목표로 하며, 이는 음성이 즉시 느껴지는지를 결정하는 수치입니다. 이 수치는 전체 응답이 아니라 첫 오디오 청크까지의 시간입니다. 전체 대화 루프의 경우, Thinker–Talker 설계는 스트리밍에 맞춰 구축되었습니다. Qwen3-Omni 기술 보고서는 지연 시간을 최소화하는 것을 목표로 한 멀티 코드북 설계를 설명하며, 커뮤니티 테스트에서는 전체 이중 통신(full-duplex)과 중단 가능한 턴(interruptible turns)에서 오디오-투-오디오 응답이 250 ms 미만 범위로 측정됩니다. 실제 수치는 지역, 네트워크, 부하에 따라 달라지므로, 단일 헤드라인 수치를 그대로 믿기보다 실제 트래픽에서 직접 측정해야 합니다.

Qwen 실시간 오디오 가격, 숫자로 간단히

Qwen의 호스티드 실시간 가격은 폐쇄형 실시간 API보다 훨씬 낮습니다. 아래는 Portkey의 DashScope 모델 디렉터리에 나와 있는 백만 토큰당 요금(입력 / 출력)입니다(Alibaba의 요금을 반영하는 제3자 집계기이며, 실제 수치는 확정 전에 Model Studio 콘솔에서 확인하세요):

호출당 의미하는 바. 오디오는 토큰 소모가 큽니다: 대략 오디오 1분당 427 토큰입니다. 사용자가 5분 동안 말하고 모델이 5분 동안 응답하는 10분짜리 음성 대화를 생각해 봅시다. qwen3-omni-flash-realtime에서는 입력 토큰이 약 2,135개, 출력 토큰이 약 2,135개이므로, 대략 입력 $0.001 + 출력 $0.004 ≈ 10분 통화당 반 센트입니다. 규모가 커져도 실시간 오디오는 저렴합니다. 사람들이 놀라는 비용은 *출력* 측의 말하기 시간인데, 음성 응답은 입력보다 약 4배 비싸게 책정되기 때문입니다.

예산을 책정하기 전에 두 가지 더 있습니다:

• 무료 할당량은 존재하지만 지역별로 다릅니다. 싱가포르(국제) 엔드포인트는 90일 동안 입력 100만 토큰과 출력 100만 토큰을 무료로 제공해 왔지만, 미국 엔드포인트는 그렇지 않았습니다. 할당량은 변경될 수 있으므로, 이를 기준으로 계획하기 전에 해당 지역의 현재 제공 내용을 Model Studio console에서 확인하세요.
• qwen3.5-omni 계층은 고정 요금이 아니라 요청 크기 기준의 가격 구간을 사용합니다. 따라서 하나의 큰 컨텍스트 요청이 여러 개의 작은 요청과 다른 가격대에 속할 수 있습니다. 도입을 결정하기 전에 실제 트래픽 패턴으로 이를 테스트하세요.

OpenAI Realtime 및 Gemini Live와의 비교

범용 프론티어 LLM 벤더들 중 2026년 중반에 분명한 실시간 음성-음성 옵션 세 가지는 OpenAI의 Realtime API, Google의 Gemini Live, 그리고 Qwen의 omni Realtime 제품군입니다. (ElevenLabs, Deepgram, Cartesia, Hume 같은 전문 음성 제공업체들은 특히 TTS와 STT에서 치열하게 경쟁합니다. 이 비교는 전체 멀티모달 모델 경로에 관한 것입니다.) 매달 바뀌는 경쟁사 가격을 인용하기보다는, 선택을 어떻게 판단할지 다음과 같이 생각하면 됩니다:

• 비용. 위에 표시된 호출당 요금 기준으로 보면, Qwen의 실시간 가격은 호스팅된 프런티어 모델 옵션들 중 저렴한 편에 속합니다. 비교하자면, OpenAI의 Realtime 오디오는 입력 분당 $0.06, 출력 분당 $0.24 정도로 책정되어 왔습니다(요금 내역은 여기); 이 기준으로 보면 qwen3-omni-flash-realtime에서는 약 반 센트 정도 드는 같은 10분 통화가 OpenAI에서는 $1.50에 더 가깝습니다. 이런 요금은 모두 변동될 수 있으므로 격차를 전제로 삼기 전에 양쪽의 최신 요금을 확인하세요. 하지만 차이는 큽니다. 또한 Qwen은 이 세 가지 중 유일하게 직접 호스팅하여 한계 비용을 거의 0에 가깝게 낮출 수 있는 open-weight 버전을 제공합니다.
• 개방성. OpenAI Realtime와 Gemini Live는 폐쇄형 API만 제공합니다. Qwen3-Omni는 open weights로 제공되므로, 새 모델의 동작에 맞춰 앱을 다시 작성하지 않고도 호스팅형에서 자체 호스팅형으로 전환할 수 있습니다.
• 품질. 제3자 보도에 따르면 상위 qwen3.5-omni-plus 티어는 일부 오디오 이해 벤치마크에서 Gemini 3.1 Pro와 같거나 더 나은 성능을 보입니다; 단일 벤치마크는 가설의 출발점으로만 보고, 실제 오디오에서 직접 테스트하세요.
• 에코시스템. 현재로서는 OpenAI와 Google이 더 풍부한 도구, SDK, 커뮤니티 예제를 보유하고 있습니다. Qwen의 문서도 탄탄하지만, 더 많이 raw WebSocket/WebRTC spec에 의존하게 될 것입니다.

실용적으로 말하면: 비용이나 자체 호스팅 옵션이 중요하다면 Qwen이 가장 강력한 선택입니다. 가장 성숙한 SDK 경험을 원하고 그에 대해 비용을 지불할 의향이 있다면, OpenAI와 Google 옵션은 여전히 완성도 면에서 앞서 있습니다. 폐쇄형 대안들의 전체 비용 분석은 아래의 관련 자료를 참고하세요.

어떤 변형을 선택해야 하나요?

3.5 계층은 음성 복제와 더 긴 컨텍스트 및 대화 제한(최대 100턴과 600초의 유지된 오디오)을 추가하며, 더 경량인 qwen3-omni-flash(8턴)과 대비됩니다. 프로토타입을 만드는 중이라면 Flash부터 시작하세요. 이름을 댈 수 있는 한계에 부딪힐 때만 Plus로 이동하세요.

접근하는 방법

호스팅, 직접 연결하는 방식. Alibaba Cloud Model Studio에서 API 키를 발급한 다음, Bearer 인증으로 WebSocket 연결을 엽니다(또는 브라우저 앱의 경우 SDP POST를 통해 WebRTC를 협상합니다). PCM 오디오를 업스트림으로 전송하면, PCM 오디오와 텍스트를 다운스트림으로 받습니다. 소켓을 직접 관리하고 싶지 않다면 DashScope Python SDK가 Realtime 인터페이스를 감싸줍니다. 기본 연결은 간단합니다(개략, 오류 처리 생략):

```python import os, json, base64, websocket

MODEL = "qwen3-omni-flash-realtime" url = f"wss://dashscope-intl.aliyuncs.com/api-ws/v1/realtime?model={MODEL}" ws = websocket.create_connection( url, header=[f"Authorization: Bearer {os.environ['DASHSCOPE_API_KEY']}"] )

# 1. 세션 구성: voice, output format, server-side turn detection ws.send(json.dumps({ "type": "session.update", "session": { "voice": "Cherry", "output_audio_format": "pcm24", "turn_detection": {"type": "server_vad"}, }, }))

# 2. base64 PCM 16 kHz 프레임으로 마이크 오디오를 업로드하기 ws.send(json.dumps({ "type": "input_audio_buffer.append", "audio": base64.b64encode(pcm_frame).decode(), }))

# 3. 이벤트를 다시 읽기; response.audio.delta는 재생할 PCM 24 kHz를 전달합니다 while True: event = json.loads(ws.recv()) if event["type"] == "response.audio.delta": play(base64.b64decode(event["audio"])) ```

서버 측 VAD를 사용하면 모델이 사용자가 말하기를 멈춘 시점을 결정합니다. 턴 경계를 직접 제어하고 싶다면 수동으로 전환하세요. 이벤트 흐름은 OpenAI Realtime 형식을 매우 가깝게 따르므로, 기존 Realtime 클라이언트 코드는 약간의 수정만으로 이식할 수 있습니다. 정확한 필드 이름, 음성 목록, 지역별 엔드포인트 호스트는 배포 전에 Realtime docs에서 확인하세요. 싱가포르와 미국 배포 간에 차이가 있고 API와 함께 변경되기 때문입니다.

자가 호스팅. 오픈 웨이트 Qwen3-Omni는 Thinker–Talker Mixture-of-Experts 설계(총 30B, 활성 약 3B)를 사용합니다. Alibaba는 이 모델에 대해 일반 Transformers보다 vLLM을 권장합니다. 전체 30B 모델의 BF16 추론의 경우, 제3자 배포 가이드는 최소 사양으로 단일 80GB 카드(A100 또는 H100)를 제시합니다. RTX 4090과 같은 24 GB 카드는 전체 가중치를 담기에는 충분하지 않지만, 양자화된 빌드는 그 기준을 낮춥니다.

문제는 실시간 서빙이 배치 추론보다 더 어렵다는 점입니다. 자체 호스팅 사용자들은 동시 부하에서 멈춤을 피하기 위해 KV cache를 제한해야 했다고 보고하며, 단일 카드의 토큰 처리량은 호스팅 API에 뒤처집니다. 스트리밍에 맞게 조정된 서빙 스택은 이 격차의 상당 부분을 줄입니다. Red Hat AI와 vLLM에서 작업하는 엔지니어들은 파이프라인 단계들을 겹치면 3초 클립의 음성 생성 시간이 대략 8초에서 약 0.5초로 줄어든다고 보고했습니다. 이는 분명한 실질적 이득이지만, 추가적인 엔지니어링이 필요합니다. 자체 호스팅은 토큰당 비용을 없애는 대신 GPU와 운영 비용을 더하므로, 프로토타입보다는 높은 수준의 안정적인 트래픽에서 효과를 발휘합니다.

오늘날 실시간 omni voice의 경우, DashScope 엔드포인트가 표준 경로입니다. 이미 여러 공급자를 하나의 게이트웨이를 통해 라우팅하는 스택이라면, 그 앞단에 aggregator를 둘 수 있지만, 많은 relay가 실시간 오디오 계층 없이 텍스트 및 이미지 모델만 제공하므로, 먼저 특정 Qwen realtime model ID가 그 카탈로그에 포함되어 있는지 확인하세요.

구축하기 전에 알아두면 좋은 제한 사항

• 세션은 120분에서 종료됩니다. 지원 라인이나 긴 튜터링 세션처럼 그보다 긴 경우에는 소켓 간에 컨텍스트를 유지하는 재연결 로직이 필요합니다.
• 리전은 무료 할당량과 가용성 모두에 영향을 미칩니다. 처음 가입한 엔드포인트가 아니라 배포할 엔드포인트를 대상으로 테스트하세요.
• 호스팅 버전과 오픈 웨이트 버전은 동일하지 않습니다. 호스팅 API는 113개 언어 인식과 36개 언어 생성을 제공합니다. 반면 오픈 웨이트 Qwen3-Omni 릴리스는 더 제한된 범위(19개 음성 입력 언어와 10개 음성 출력 언어)를 다룹니다. 특정 언어가 요구사항이라면, 배포하려는 정확한 변형에서 이를 확인하세요.
• 실시간 비용은 요청 수가 아니라 대화 시간에 따라 증가합니다. 오디오는 토큰 사용량이 많기 때문에, 말이 많은 사용자가 간결한 사용자보다 더 많은 비용을 발생시킵니다. 청구액은 호출 수가 아니라 대화 분 단위로 계산하세요.

자주 묻는 질문

Qwen 3는 오디오를 지원하나요?

네. Qwen3-Omni 모델은 기본적으로 멀티모달입니다: 오디오, 텍스트, 이미지, 비디오를 입력으로 받아 실시간 텍스트 또는 음성으로 응답할 수 있습니다.

Qwen은 오디오를 생성할 수 있나요(이해하는 것뿐만 아니라)?

네. 원래의 Qwen-Audio는 텍스트만 생성했지만, omni Realtime 모델과 Qwen-TTS-Realtime는 음성 오디오 출력을 생성하며, 3.5 티어에서는 복제된 음성도 포함됩니다.

Qwen 실시간 오디오는 무료인가요?

국제(Singapore) 엔드포인트에서는 역사적으로 90일 동안 100만 입력 토큰과 100만 출력 토큰의 무료 체험 할당량이 제공됩니다. 그 이후에는 토큰당 과금되며, 자체 GPU를 제공하면 완전한 오픈웨이트 Qwen3-Omni를 무료로 실행할 수 있습니다.

Qwen 오디오를 로컬에서 어떻게 실행하나요?

Qwen3-Omni (30B-A3B) 오픈 웨이트를 다운로드하고 vLLM으로 서빙하세요. BF16의 전체 모델을 사용하려면 대략 80GB 카드(A100 또는 H100)가 필요합니다. 더 작은 소비자용 GPU는 전체 가중치가 아닌 양자화된 빌드만 처리할 수 있습니다.

관련 읽을거리

주요 출처:

• Alibaba Model Studio Realtime API 문서
• Qwen3-Omni 모델 카드 및 오픈 가중치(GitHub)

대안들의 가격은 다음과 같습니다:

• OpenAI Realtime API 가격
• Gemini 3.5 Live Translate
• Seed Audio 리뷰