AIREITERGoogle이 Gemini Computer Use를 2026년 10월 30일 정식 출시했지만, 발표 내용은 변경 로그 두 줄이 전부였습니다. Interactions API와 GenerateContent API에서 GA가 됐고, 새 모델이나 가격 변경은 없었습니다. 이제 프로덕션 팀이 따져볼 지점은 명확합니다. 기존과 같은 스크린샷 루프와 유료 토큰 과금을 유지하면서, 정식 버전으로 서비스를 만들어도 되는가입니다.
프리뷰라는 불안 요소는 사라졌지만, 스크린샷 과금과 안전 처리는 여전히 개발자의 몫입니다.
10월 30일 GA로 실제로 달라진 점
2026년 10월 30일 GA 항목이 말하는 내용은 하나입니다. Computer Use 도구가 Interactions API와 GenerateContent API 모두에서 정식 제공된다는 것입니다. 해당 변경 로그에는 새 모델 ID, 새로운 액션 스키마, 레이트 리밋, 가격 정보가 따로 적혀 있지 않습니다.
바뀐 것은 작동 방식이 아니라 제공 상태입니다. computer_use와 스크린샷 루프를 사용하던 프리뷰 통합은 그대로 작동합니다. GA가 되면서 프리뷰 상태에 따른 제약은 없어졌지만, 안정성과 안전성은 여전히 직접 구현해야 합니다. 과금은 계속 유료 등급에서만 일반 토큰 기준으로 적용되고, 클릭은 여전히 개발자의 코드가 직접 실행해야 하며, 중요한 작업마다 사용자 확인 절차가 필요합니다.
Gemini 2.5 Computer Use 프리뷰(2025년 10월 7일 공개 프리뷰 발표)를 기반으로 구축했다면 전면 재작성보다는 설정 변경에 가깝습니다. Interactions API(https://generativelanguage.googleapis.com/v1/interactions REST 예시) 또는 GenerateContent에서 GA 도구를 사용하도록 요청을 바꾸고, Playwright나 Browserbase 실행기는 그대로 유지한 뒤 안전 판단을 다시 테스트하면 됩니다. 다만 레퍼런스 구현의 README 예시는 여전히 gemini-3.6-flash를 기본값으로 사용합니다. 이 기본값에 기대지 말고 GA에서 지원하는 모델 ID를 명시적으로 고정하세요.
Computer Use 루프는 이렇게 돌아간다
Gemini Computer Use API가 컴퓨터를 직접 조작하는 것은 아닙니다. 애플리케이션이 스크린샷과 프롬프트를 보내면 모델이 function_call 형태로 UI 액션을 제안합니다. 그다음 코드가 액션을 실행하고 새 스크린샷을 캡처해 다시 모델에 전달합니다. 작업이 끝나거나 오류가 발생하거나, 안전 장치가 멈추거나 사용자가 종료할 때까지 이 과정을 반복합니다.
최소한의 Python 구성에는 google-genai 버전 2.7.0 이상(Computer Use 문서 기준)과 브라우저 실행을 위한 Playwright가 필요합니다.
pip install google-genai playwright
playwright install chromium문서 예시는 headless=False로 Chromium을 실행하고, 뷰포트를 1440 x 900으로 설정한 뒤 https://www.google.com에서 시작합니다. 요청에는 "environment": "browser", 모델 gemini-3.8-flash, 도구 유형 computer_use가 들어갑니다. Python, JavaScript, Java, Go로 제공되는 전체 에이전트 루프 예시는 턴 제한을 5로 두지만, 이는 샘플 코드일 뿐 API 전체에 적용되는 할당량은 아닙니다.
대부분의 구현이 가장 자주 틀리는 부분은 좌표입니다. 모델은 좌표를 1000 x 1000 공간에 맞춰 정규화해 반환하며, 일반적으로 0부터 999 사이의 정수입니다. 실제 화면 픽셀 좌표로 변환하는 작업은 직접 처리해야 합니다.
actual_x = int(x / 1000 * screen_width)
actual_y = int(y / 1000 * screen_height)요청에 디스플레이 크기를 따로 보내지는 않습니다. Gemini 4와 Gemini 3.x 응답에서는 각 액션에 모델이 해당 액션을 선택한 이유를 설명하는 intent 문자열과 선택 항목인 safety_decision도 포함됩니다.
지원 모델과 실행 환경
현재 Computer Use 문서에는 네 가지 지원 모델이 나와 있습니다. Gemini 3.8 Flash는 UI 상호작용과 안정적인 도구 호출을 위한 Google의 권장 기본 모델입니다. Gemini 4 Argon은 복잡한 에이전트 워크플로에 가장 강력한 모델로 포지셔닝돼 있습니다.
| 모델 ID | 특징 |
|---|---|
gemini-4-argon | 가장 강력한 모델, 복잡한 추론과 에이전트형 UI 워크플로 |
gemini-3.8-flash | Computer Use 권장 모델, 높은 정확도의 UI 상호작용 |
gemini-3.5-flash-lite | 낮은 지연 시간과 비용 효율성을 중시하는 선택지 |
gemini-3-flash-preview | 프리뷰 모델, 동작이 계속 바뀔 수 있음 |
| 환경 | 적합한 작업 | 주요 액션 |
|---|---|---|
브라우저 (ENVIRONMENT_BROWSER) | 웹 폼, 테스트, 리서치 | 클릭, 더블클릭, 트리플클릭, 오른쪽 클릭, 가운데 클릭, 이동, press_enter와 함께 입력, 드래그 앤 드롭, 스크롤 기본값 300(0-999), press_key, hotkey, 뒤로 가기, 앞으로 가기, navigate, 기본값 1초인 wait, 스크린샷 |
모바일 (ENVIRONMENT_MOBILE) | Android 앱 플로우 | open_app, list_apps, 터치 클릭, 입력, 드래그 앤 드롭, 기본값 2초인 long_press, 뒤로 가기, wait, 스크린샷 |
데스크톱 (ENVIRONMENT_DESKTOP) | OS 수준의 커서 작업 | 클릭 변형, 이동, 입력, 드래그 앤 드롭, 스크롤, press_key, hotkey, wait, 스크린샷 |
Apache-2.0 라이선스의 GitHub 레퍼런스(google-gemini/computer-use-preview)는 같은 작업을 두 가지 방식으로 실행합니다. 로컬 Playwright Chrome 또는 Browserbase 클라우드 브라우저를 사용할 수 있습니다. CLI 명령은 python main.py --query "Go to Google and type 'Hello World' into the search bar" --env="playwright"이며, --initial_url의 기본값은 https://www.google.com입니다. 시각적 디버깅에는 --highlight_mouse를 사용할 수 있습니다. 디버깅에 한참을 쓰기 전에 알아둘 문제가 하나 있습니다. Playwright는 OS가 페이지 바깥에서 렌더링하는 네이티브 HTML <select> 드롭다운을 캡처하지 못할 수 있습니다. README는 CSS/JS 주입보다 Browserbase를 더 나은 해결책으로 안내합니다.
사고 수준을 조절하면 액션 품질과 속도 사이의 균형을 맞출 수 있습니다. 단순한 폼 입력이나 테스트 루프에는 낮은 수준이 적합하고, UI 상태가 모호한 작업에는 더 높은 수준이 유리합니다. 다만 문서에는 수준별 이름이나 지연 시간 수치가 공개돼 있지 않으므로, 자신의 플로우에서 직접 A/B 테스트할 조절값으로 보는 편이 좋습니다.
비용은 어떻게 계산되나
Computer Use에는 무료 등급이 없습니다. 가격 페이지의 도구 가격 안내에 명시돼 있듯 Computer use는 Free에서 사용할 수 없고, Paid에서는 Gemini 3.8 Flash 가격을 예로 들 수 있는 일반 토큰 기준으로 과금됩니다. Computer Use 전용 추가 요금은 없으며, 기본 모델의 입력·출력 토큰 단가에 따라 사용량이 청구됩니다.
작업 비용이 예상보다 커지는 이유가 바로 여기에 있습니다. 매 턴마다 스크린샷 입력, 누적 대화 기록, 액션 출력이 과금되므로 20단계 폼 입력은 재시도를 제외해도 20번의 비전 호출이 됩니다. 비용은 turns x (screenshot + history input tokens + action output tokens) x base-model rate로 추산할 수 있습니다. 가격 페이지에 따르면 Flash Standard는 2026년 12월 31일까지 입력 토큰 100만 개당 $0.75, 출력 토큰 100만 개당 $3.75입니다. Batch와 Flex는 더 낮은 토큰 단가를 제공하지만, Computer Use 자체는 여전히 Paid 전용입니다.
매 라운드마다 스크린샷을 다시 보내고 토큰으로 과금됩니다. 엉뚱한 클릭은 페이지뿐 아니라 비용도 망칩니다. — AI 배포 계정 @vastplan, 게시물
코드에서 루프 횟수, 스크린샷 해상도, 재시도 횟수를 제한해 예산을 관리하세요.
안전 장치는 직접 구현해야 한다
Computer Use의 안전성은 모델 내부 기능이라기보다 모델을 둘러싼 서비스에 가깝습니다. Gemini 4와 Gemini 3.x는 제안된 액션을 일곱 가지 내장 정책 범주에 따라 평가하며, 실행 가능한 액션 대신 require_confirmation이나 차단 응답을 반환할 수 있습니다. 클라이언트는 이런 응답을 매번 처리해야 합니다.
| 정책 | 보호 대상 |
|---|---|
FINANCIAL_TRANSACTIONS | 결제, 상품 구매, 규제 상품 |
SENSITIVE_DATA_MODIFICATION | 건강, 금융, 정부 기록 |
COMMUNICATION_TOOL | 이메일, 채팅, 초안 전송 |
ACCOUNT_CREATION | 새 사이트 계정 등록 |
DATA_MODIFICATION | 파일 변경, 공유, 저장소 삭제 |
USER_CONSENT_MANAGEMENT | 쿠키 배너, 개인정보 보호 안내 |
LEGAL_TERMS_AND_AGREEMENTS | 서비스 이용약관과 법적 구속력이 있는 계약 |
모델이 decision: require_confirmation과 must check check-box 같은 explanation을 포함한 safety_decision을 반환하면, 문서의 처리 흐름은 분명합니다. 사용자에게 확인을 요청하고 계속 진행하거나 종료하도록 한 뒤, 승인을 받았다면 다음 function_result에 CONTINUE 또는 TERMINATE 결과와 함께 safety_acknowledgement를 포함해야 합니다. disabled_safety_policies로 정책을 비활성화할 수는 있지만(예시에서는 data_modification을 비활성화), 그래도 확인이 필요할 수 있습니다.
프롬프트 인젝션 감지는 선택 기능이며 기본적으로 꺼져 있습니다. enable_prompt_injection_detection: true로 활성화할 수 있고, Gemini 3.5 Flash-Lite 이상에서 사용할 수 있습니다. 이 기능은 스크린샷에서 ‘이전 명령을 무시하라’ 같은 숨은 지시를 찾아내며, 발견하면 실행을 차단합니다. Google은 VM, Docker 컨테이너 또는 권한이 제한된 전용 브라우저 프로필에서 샌드박싱할 것도 권장합니다. 여기에 탐색 허용 목록이나 차단 목록, 입력값 정제, 콘텐츠 가드레일, 깨끗한 시작 상태에서 유지되는 안정적인 GUI 상태, 프롬프트·스크린샷·제안된 function_call 액션·안전 응답·실행된 액션의 감사 로그까지 갖추는 것이 좋습니다.
샘플 안전 지침에는 자율 실행을 금지해야 할 작업이 구체적으로 나옵니다. 서비스 이용약관이나 쿠키 배너 승인, CAPTCHA 해결, 구매 완료 또는 송금, 이메일이나 게시물 전송, 건강·금융 기록 또는 주민등록번호와 카드 번호 처리, 파일 다운로드, 데이터 공유, 방문 기록이나 비밀번호 읽기, 로그인, 신원 사칭, 멈춘 상태에서 무한 반복 등이 여기에 포함됩니다. 프로덕션에서는 에이전트가 준비 작업까지만 수행하게 하고 최종적인 Send, Submit, Confirm purchase, Share 직전에 멈추게 하는 방식이 적합합니다.
지금 출시해도 될까? 체크리스트와 비교
GA가 된 Computer Use는 브라우저 자동화, 폼 입력, 자동 UI 테스트, 제품 페이지 리서치에 활용할 만한 프로덕션 선택지가 됐습니다. 다만 여전히 스크린샷 기반 에이전트인 만큼 UI를 잘못 읽거나, 긴 실행 과정에서 맥락을 잃거나, 재시도로 토큰을 소모할 수 있습니다.
실사용자에게 제공하기 전에 다음 항목을 확인하세요.
- GA 모델 ID를 명시적으로 고정하기
- 턴 수를 제한하고 유휴 루프 감지 추가하기
- 허용 목록과 함께 샌드박스 브라우저 프로필 또는 컨테이너에서 실행하기
- 되돌릴 수 없는 작업 전에는 사용자 확인을 반드시 받기
- 프롬프트 인젝션 감지 활성화하기
- 스크린샷과 안전 판단 로그 남기기
- 모든 작업을 알려진 초기 상태에서 시작하기
- 확인 절차를 켠 상태에서 결제와 로그인 플로우 테스트하기
벤치마크와 관련해 Google의 모델 카드는 현재 GA 모델이 아니라 2.5 Computer Use 계열의 결과를 보고합니다. 브라우저 작업을 판단할 때 계보 차원의 참고 자료로 활용하세요.
| 벤치마크 | Gemini 2.5 계열 | 최고 비교 대상 |
|---|---|---|
| Online-Mind2Web (공식) | 69.0% | OpenAI Operator 61.3% |
| WebVoyager (공식) | 88.9% | OpenAI 87.0% |
| Online-Mind2Web (Browserbase) | 65.7% | Sonnet 4.5 55.0%, Sonnet 4 61.0%, OpenAI 44.3% |
| WebVoyager (Browserbase) | 79.9% | Sonnet 4.5 71.4%, Sonnet 4 69.4%, OpenAI 61.0% |
| AndroidWorld | 69.7% | Sonnet 4.5 56.0%, Sonnet 4 62.1% |
해당 모델 카드에서 OSWorld 데스크톱 제어는 아직 지원되지 않았으며, Claude의 자체 보고 수치는 61.4%였습니다. 현재 문서에는 데스크톱 지원이 추가돼 있지만, OS 수준 제어는 브라우저 플로우보다 새롭고 검증이 덜 됐다고 보는 편이 안전합니다.
| 작업 | 추천 선택 |
|---|---|
| 대량의 단순 입력, 비용 우선 | gemini-3.5-flash-lite + 엄격한 턴 제한 |
| 일반적인 브라우저 자동화, 정확도 우선 | gemini-3.8-flash |
| 복잡한 멀티앱 추론 | gemini-4-argon, 샌드박스 실행과 사용자 승인 적용 |
| 금융, 계정 또는 법률 약관을 다루는 모든 작업 | 사용자 개입 필수, 금융 정책 비활성화 금지 |
로컬 Playwright 렌더링이 문제를 일으킨다면 먼저 시도해볼 호스팅 방식으로 Stagehand를 사용하는 Browserbase 템플릿(npx create-browser-app --template gemini-cua)이 있습니다. 어떤 방식을 선택하든 비용과 신뢰 경계는 개발자가 관리해야 합니다.
FAQ
GA에서 Gemini Computer Use API 엔드포인트가 바뀌었나요?
GA 항목에는 새 엔드포인트가 발표되지 않았습니다. Google은 Interactions API와 GenerateContent API에서 동일한 도구를 제공한다고 안내합니다. 명시적인 모델 ID와 함께 같은 실행기를 GA 도구에 연결하면 됩니다.
Gemini Computer Use는 무료인가요, 유료인가요?
유료 등급 전용입니다. 공식 가격 페이지에 따르면 Computer Use는 Free에서 제공되지 않으며, 기본 모델의 요율에 따라 일반 토큰으로 과금됩니다. 스크린샷과 액션이 포함된 각 루프도 과금 대상입니다.
Computer Use에는 어떤 Gemini 모델을 써야 하나요?
Google은 UI 정확도와 안정적인 도구 호출을 위해 gemini-3.8-flash를 권장합니다. 지연 시간이 짧고 대량 처리가 필요한 작업에는 gemini-3.5-flash-lite, 복잡한 에이전트 워크플로에는 gemini-4-argon을 사용하세요. 프로덕션에서는 프리뷰 ID를 피하는 편이 좋습니다.
전체 데스크톱을 제어하나요, 브라우저만 제어하나요?
GA 문서에는 브라우저, Android 모바일, 데스크톱 OS 수준 커서 제어가 지원 환경으로 나와 있습니다. 다만 브라우저 플로우가 가장 성숙했고 벤치마크도 많습니다. 데스크톱 제어는 더 새로운 기능으로 보고 한층 엄격하게 샌드박스에서 실행하세요.
클릭은 제가 직접 실행해야 하나요?
그렇습니다. 모델은 0-999로 정규화된 좌표와 의도를 담은 function_call만 제안합니다. 마우스 이동, 입력, 스크린샷 캡처와 결과 반환은 Playwright, Browserbase 또는 네이티브 실행기가 담당합니다.
코드에서 안전 확인은 어떻게 처리하나요?
모든 응답에서 safety_decision을 확인하세요. require_confirmation이 반환되면 사용자에게 확인을 요청한 뒤, 다음 function_result에 CONTINUE 또는 TERMINATE를 담은 safety_acknowledgement를 보내야 합니다. 정책을 비활성화했더라도 이 처리는 계속 유지하세요.
관련 글: Gemini 3.8 Flash 가격과 에이전트 작업 비용, Gemini 4 Argon API 가격과 출시 정보, 컴퓨터 사용 에이전트를 위한 CUA-Lite 리뷰.