AIREITER

OpenAI Decisions API vs Gemini Decisions API: 워크로드별 선택 가이드

마지막 업데이트: 2026-11-16 00:19:41

표면적인 가격만 보면 두 API 모두 입력 토큰 100만 개당 $0.10입니다. 하지만 같은 정책 문서를 반복해서 넣는 워크로드에서는 한쪽이 $520, 다른 쪽이 $70이 될 수 있습니다. 에이전트 대화 기록과 반복 컨텍스트가 중심이라면 OpenAI Decisions API가, 오디오·비디오와 1,000개 규칙 체크리스트를 다룬다면 Gemini Decisions API가 더 잘 맞습니다.

같은 $0.10이어도 실제 청구액은 다르다

OpenAI Decisions API와 Gemini Decisions API는 모두 캐시되지 않은 입력 토큰 100만 개당 $0.10을 청구하며, 출력 토큰 비용은 없습니다. OpenAI Decisions API는 gpt-6-luna 모델로 2026년 10월 22일 정식 출시됐고, Gemini Decisions API는 v1beta와 gemini-decision-1 모델로 2026년 11월 11일 공개됐습니다. 어느 쪽이 더 저렴한지는 로고가 아니라 입력의 반복 여부와 입력 모달리티가 결정합니다.

항목OpenAI Decisions APIGemini Decisions API
모델gpt-6-lunagemini-decision-1
상태2026년 10월 22일부터 GA (OpenAI 문서)2026년 11월 11일부터 프리뷰 v1beta (Google 발표)
요청당 질문 수1~400개 (OpenAI 문서)1~1,000개 (Google 발표)
컨텍스트 윈도우272K 토큰 초과 시 긴 컨텍스트 2배 요금262,144 토큰
입력텍스트, 이미지, input_json, 대화 + 도구 호출텍스트, 이미지, 오디오, 비디오, PDF
출력 요금$0$0
캐시된 입력토큰 100만 개당 $0.01, 접두사 1,024토큰 이상지원하지 않음
무료 티어별도 무료 티어 명시 없음AI Studio에서 제공, 200 RPM / 50K TPM / 10K RPD
공개된 지연 시간Responses API보다 약 10배 빠름모델 연산 50~100ms, 16K 토큰까지 엔드투엔드 150~250ms
엔터프라이즈ZDR, HIPAA, 미국/EU 리전 (+10%)Cloud 지원 예정

실제 요청 형식은 어떻게 다른가

OpenAI Decisions API는 POST /v1/decisions에 순서가 있는 질문 배열을 전달하며, 각 질문에는 선택 사항인 name을 지정할 수 있습니다. Gemini Decisions API는 client.decisions.create()를 사용하고, 개발자가 정한 ID를 키로 하는 맵을 전달합니다. 두 API 모두 질문 유형은 세 가지지만 이름과 허용 범위가 다릅니다.

OpenAI의 질문 유형은 predicate(확률 0~1), choice(순서가 없는 범주), score(2~10단계의 순서형 값과 확률 가중 평균)입니다. 자세한 내용은 OpenAI 가이드에서 확인할 수 있습니다. Gemini는 noul(예/아니요, 확률 0.01~0.99), choice(2~255개 옵션), score(2~255단계, 2~10 권장)를 제공합니다. 근거는 Google 발표에 나와 있습니다. 한 요청 안의 질문은 양쪽 모두 서로 독립적으로 처리되므로, 연쇄 로직은 애플리케이션 코드나 두 번째 호출로 구현해야 합니다.

포팅할 때 특히 조심할 세 가지

Gemini는 점수를 계산하기 전에 choice 키를 알파벳순으로 정렬합니다. 따라서 none_of_the_above라는 포괄 옵션이 shipping보다 앞에 정렬될 수 있습니다(문서화된 동작). OpenAI는 답변 배열에 질문의 name을 그대로 돌려주지만, Gemini는 질문 ID를 키로 하는 맵을 반환합니다. 또 Gemini의 noul은 0.99를 초과하는 값을 절대 반환하지 않으므로 >0.99라는 임계값은 발동하지 않습니다.

거부 처리 방식도 다릅니다. OpenAI 가이드에 따르면 OpenAI는 한 질문에 refusal을 반환하면서 나머지 질문에는 답할 수 있습니다. 반면 Gemini는 안전 정책이나 금지 콘텐츠에 걸리면 HTTP 400으로 요청 전체를 거부하며, safety와 prohibited_content 같은 코드를 사용합니다.

"이상한 점 하나는 Decisions와 일반 텍스트 생성이 서로 다른 캐싱 및 추론 경로를 사용하는 것처럼 보인다는 겁니다." — r/OpenAI의 u/Balance-

두 엔드포인트를 모두 지원해야 한다면 얇은 어댑터를 먼저 두는 편이 안전합니다. 질문 ID 형식을 통일하고, Gemini 키는 알파벳순 정렬로 인한 동률 문제를 피하도록 이름을 바꾸세요. Gemini에서는 임계값도 ≤0.99로 제한해야 합니다.

지원하는 입력과 직접 만들어야 하는 파이프라인

Gemini Decisions API는 텍스트, 이미지, 오디오, 비디오, PDF를 하나의 공통 입력에서 네이티브로 처리합니다. OpenAI Decisions API는 텍스트, 이미지, input_json, 대화 기록, 함수 호출과 도구 출력을 지원하지만 파일과 오디오는 지원하지 않습니다. 이 차이에 따라 전처리 단계가 사라질 수도, 새로 필요해질 수도 있습니다.

예를 들어 통화 녹음과 계정 메타데이터는 Gemini에 바로 넣을 수 있어 별도 전사가 필요 없습니다. 스캔한 보험 청구 PDF와 손상 사진도 OCR 없이 처리할 수 있습니다. 반대로 도구 호출이 포함된 에이전트 대화 기록은 call_id 매칭과 함께 OpenAI에서 바로 사용할 수 있지만, Gemini에서는 같은 기록을 텍스트로 평탄화해야 합니다. OpenAI는 질문의 instructions 안에 이미지를 넣어 후보와 기준 이미지를 비교하는 작업도 지원합니다.

이미지 토큰 계산 방식은 업체마다 다릅니다. System Design Academy의 독립적인 실사용 테스트에서는 224×224 크기의 달걀 사진을 질문 세 개와 함께 보냈을 때 OpenAI는 입력 토큰 523개로 계산했습니다. Gemini Low는 약 390개(이미지 토큰 257개), Medium은 663개, High는 1,223개로 추정됐으며, 사진 1,000장당 비용은 각각 $0.039, $0.066, $0.122였습니다.

지연 시간 수치는 업체가 직접 공개한 값입니다. Google은 엔드투엔드 150~250ms, 1개에서 100개 질문으로 늘어나도 16K 토큰까지 거의 일정한 확장성을 제시합니다. OpenAI는 절대 수치를 공개하지 않고 Responses API보다 약 10배 빠르다고 설명합니다. 실제 사용자 경험은 엇갈립니다.

"속도와 비용이 좋습니다. 출력이 거의 즉시 나오고 비용도 매우 적습니다." — r/OpenAI의 u/zyeus-guy

무료 티어에서 Gemini Decision 1을 테스트했습니다. 중앙값 약 0.24초로 라우팅 30/30을 기록했고 반복 결과도 결정적이었지만, 'other'가 없을 때는 틀린 범주를 자신 있게 선택했습니다. — r/GeminiAI의 실사용 테스트

업체가 공개한 지연 시간은 프로덕션 SLA가 아니라 테스트에서 넘어야 할 기준선으로 보는 것이 좋습니다.

요청 100만 건의 실제 비용

두 API 모두 공통 입력은 요청당 한 번만 과금합니다. 질문을 추가해도 늘어나는 것은 지시문 토큰뿐입니다. 비용 차이는 요청마다 반복되는 입력에서 벌어집니다. OpenAI는 이를 캐시하지만 Gemini는 매번 전체 입력을 과금하기 때문입니다.

Decisions API의 반복 컨텍스트 워크로드 월간 비용 비교

Apidog와 BaristaLabs가 공개한 패턴을 따른 예시 계산입니다. 정가는 기준으로 했으며, OpenAI는 캐시 쓰기 비용이 발생하기 전에 캐시 적중이 일어난다고 가정했습니다.

  • 동일한 5,000토큰 정책과 새 토큰 200개를 포함한 티켓 100만 건: Gemini 약 $520, OpenAI 캐시 사용 시 약 $70.
  • 동일한 10,000토큰 정책과 약 50토큰짜리 질문 20개를 포함한 요청 100만 건: Gemini 약 $1,100, OpenAI 캐시 사용 시 약 $200에 쓰기 비용 추가.

재사용할 접두사가 없는 새로운 입력에서는 차이가 사라집니다. 예를 들어 새로 들어온 400토큰 메시지는 양쪽 모두 입력 토큰 100만 개당 $0.10이라는 동일한 요금이 적용됩니다. 모델 선택보다 배치가 더 중요할 때도 있습니다. 4,000토큰 레코드 하나에 검사 20개를 묶으면 레코드 1,000개당 약 $0.50이지만, 20개 요청으로 나누면 약 $8.10이 됩니다.

매 턴마다 긴 대화를 다시 읽는 워크로드라면 캐싱이 유리합니다. 124,680토큰을 읽는 30턴 라우터를 모델링하면 Gemini Decision 1은 캐싱 없이 채팅 1,000건당 약 $12.47이 들고, 캐시를 사용하는 채팅 모델은 약 $6.31입니다.

반환되는 확률을 믿어도 될까

AIToolsReview가 정리한 Google 공개 표에 따르면, Decision 1은 모든 공통 테스트에서 Luna를 앞섰습니다. Top-1 ECE는 Decision 1이 0.0250, Luna가 0.0721, Jev 1.14가 0.0494였습니다. JevBench 공개 분할에서는 Decision 1이 92.2%, Luna가 90.9%, Jev 1.14가 90.0%를 기록했습니다. 전체 테스트 비용은 Decision 1 $0.88, Jev $0.68, Luna $0.93이었습니다.

같은 리뷰가 인용한 Artificial Analysis의 독립적인 요약에서는 Decision 1의 Decision Index가 66으로, Jev 1.14와 공동 18개 중 9위였습니다. Drex Max v1.1보다는 약 7점 낮습니다. When2Call에서는 Decision 1이 75.2%, Jev가 80.8%, Drex Max가 94.6%였고, 작업 100만 건당 비용과 지연 시간은 Decision 1이 $345 및 211ms, Jev가 $156 및 92ms였습니다.

임계값 자동화에서는 눈에 띄는 정확도보다 캘리브레이션이 중요합니다. 신뢰도 0.90이라면 배포 환경의 데이터 분포에서 10번 중 약 9번은 맞아야 합니다. 라벨이 있는 사례 200~500개로 임계값을 검증하고, 신뢰도 구간별 정확도를 측정하세요.

"신뢰도 측면에서 Jev 스타일로 캘리브레이션된 확률을 모든 OpenAI 호환 엔드포인트가 제공하는 것은 아닙니다." — r/LLMDevs의 u/xapep

반복해서 나타나는 실패 패턴은 두 가지입니다. 초기 실무자 테스트에서는 OpenAI가 첫 번째 선택지를 편향되게 고르는 현상이 보고됐고(@NatashaTheRobot), 위 Gemini 실사용 테스트에서는 포괄 옵션이 없을 때 기권하지 않고 그나마 나은 선택지를 골랐습니다. 두 문제 모두 other 옵션, 별도의 범위 확인용 predicate, 짧고 명확하게 구분되는 설명, 임계값 미만 결과에 대한 사람 검토로 보완할 수 있습니다.

출시 전 프로덕션 체크리스트

OpenAI는 캐싱, GET /v1/organization/usage/decisions를 통한 사용량 보고, 자격을 갖춘 고객 대상 ZDR과 HIPAA, 10% 추가 요금이 붙는 미국/EU 리전 처리를 지원하는 GA 상태입니다. Gemini는 Cloud 지원이 예정된 v1beta입니다. 두 업체 모두 OpenRouter, LangChain, Vercel, LiteLLM 같은 프레임워크 통합을 제공합니다.

캐싱 규칙이 아키텍처를 좌우합니다. OpenAI는 최소 1,024토큰의 공통 입력 접두사를 재사용하며, 질문 내용은 이 최소 기준에 포함되지 않습니다. Gemini에는 컨텍스트 캐싱, Batch, Flex, Priority 티어가 없습니다. 무료 티어 프로토타이핑은 Gemini가 유리하지만, 무료 티어의 콘텐츠가 Google 제품 개선에 사용될 수 있으므로 실제 고객 데이터는 유료 키로 처리하세요. 고위험 작업을 자동화하기 전 일주일 동안 신뢰도 분포를 기록하는 것도 잊지 마세요.

로고가 아니라 워크로드로 고르기

도구 호출과 반복 지시문이 포함된 에이전트 대화 루프라면 OpenAI Decisions API가 적합합니다. ZDR, HIPAA 또는 EU 데이터 레지던시가 필요한 경우에도 같은 선택을 가리킵니다.

통화 녹음, 비디오 클립, 스캔 PDF에 수백 개의 검사를 적용한다면 Gemini Decisions API가 맞습니다. 오디오·비디오·PDF를 네이티브로 받아들여 전사와 OCR 단계를 없앨 수 있고, 요청당 질문 1,000개를 지원해 400개를 넘는 규칙 목록도 처리할 수 있습니다. 다만 요청당 인라인 입력은 100MB, PDF는 50MB, 외부 URL은 15MB로 제한됩니다.

짧고 새로운 텍스트에 400개 미만의 질문을 적용하는 경우 정가 기준으로는 비슷합니다. 합성 데이터로 Gemini 무료 티어에서 프로토타입을 만든 뒤, 동일한 라벨 사례 200~500개를 양쪽에서 다시 실행해 신뢰도 구간별 정확도, p50/p95 지연 시간, 요청당 토큰 수, 월간 비용을 비교하세요.

워크로드선택
반복되는 5K~10K 정책 문서, 높은 QPSOpenAI Decisions API, 캐싱으로 80% 이상 절감
도구 호출 기록이 포함된 에이전트 라우팅, GPT-Live 음성OpenAI Decisions API
오디오/비디오/PDF 의사결정, 400개 초과 규칙Gemini Decisions API
짧고 새로운 텍스트, 400개 미만 질문비슷함 — 기존 스택에 맞춰 선택
무료 프로토타이핑Gemini AI Studio에서 시작한 뒤 유료 환경에서 재평가

Gemini가 OpenAI보다 저렴한가?

출력 요금 없이 입력 토큰 100만 개당 $0.10으로 정가가 같지만, 반복되는 캐시 컨텍스트에서는 OpenAI가 유리하고 무료 프로토타이핑에서는 Gemini가 유리합니다.

OpenAI는 오디오, 비디오, PDF를 읽을 수 있나?

아니요. 텍스트, 이미지, JSON, 도구 호출 대화만 지원합니다. 오디오, 비디오, PDF는 Gemini가 네이티브로 처리합니다.

요청 하나에 질문을 몇 개까지 넣을 수 있나?

Gemini는 262,144토큰 안에서 1~1,000개, OpenAI는 1~400개입니다.

Gemini를 프로덕션에 사용할 수 있나?

Gemini는 Cloud 지원이 예정된 v1beta이고, OpenAI는 ZDR, HIPAA, 리전 처리를 지원하는 GA 상태입니다.

Jev나 로컬 분류기가 여전히 필요한가?

Jev는 100만 토큰당 $0.042를 제시하고 일부 도구 선택 테스트에서 앞서므로, 작업당 비용이 핵심이라면 함께 벤치마크하세요.

신뢰도가 낮은 결과는 어떻게 처리해야 하나?

라벨 데이터로 임계값을 정한 뒤, 높은 신뢰도는 자동 처리하고 중간 구간은 더 큰 모델로 보내며 낮은 신뢰도는 사람이 검토하게 하세요. 항상 other 옵션도 포함해야 합니다.

관련 글: