Guida alla GA dell’API Gemini Computer Use: prezzi e sicurezza

Il 30 ottobre 2026 Google ha portato Gemini Computer Use alla disponibilità generale, ma l’annuncio si riduceva a due righe nel changelog: GA nelle API Interactions e GenerateContent, nessun nuovo modello e nessuna variazione dei prezzi. Per chi deve portarlo in produzione, la domanda concreta è un’altra: il loop basato sugli screenshot e la fatturazione dei token restano invariati, ma ora è possibile costruirci sopra senza il limite dello stato preview.

La GA elimina quindi il dubbio sulla stabilità della preview, ma fatturazione degli screenshot e gestione della sicurezza restano responsabilità della tua implementazione.

Cosa cambia davvero con la GA del 30 ottobre

La voce del 30 ottobre 2026 nel changelog comunica un solo cambiamento: il tool Computer Use è ora generalmente disponibile sia nell’Interactions API sia nella GenerateContent API. Il changelog non indica nuovi model ID, nuovi schemi per le action, limiti di frequenza o prezzi per questa modifica.

Cambia lo stato del servizio, non il funzionamento. Le integrazioni preview che usano computer_use insieme a un loop di screenshot continuano a funzionare. La GA rimuove il vincolo della preview, ma affidabilità e sicurezza dipendono ancora dal tuo codice. Restano invariati anche la fatturazione esclusivamente sui piani a pagamento come token normali, l’esecuzione manuale di ogni clic e la necessità di gestire la conferma per tutte le azioni con conseguenze rilevanti.

Se hai sviluppato sulla preview di Gemini 2.5 Computer Use (annunciata il 7 ottobre 2025 come anteprima pubblica), la migrazione riguarda la configurazione, non richiede una riscrittura. Puoi indirizzare le richieste al tool GA tramite Interactions (https://generativelanguage.googleapis.com/v1/interactions nell’esempio REST) oppure GenerateContent, mantenere il tuo executor Playwright o Browserbase e ripetere i test sulle decisioni di sicurezza. La reference implementation usa ancora gemini-3.6-flash come valore predefinito nell’esempio del README: in produzione conviene quindi fissare esplicitamente un model ID supportato dalla GA invece di affidarsi a quel default.

Come funziona il loop operativo

L’API Gemini Computer Use non controlla direttamente il tuo computer. L’app invia uno screenshot e un prompt, il modello restituisce un’azione UI proposta sotto forma di function_call, il codice la esegue, acquisisce un nuovo screenshot e lo rimanda al modello. Il ciclo continua finché il compito non è completato, si verifica un errore, scatta uno stop di sicurezza oppure l’utente interrompe l’operazione.

Il percorso Python minimo richiede google-genai versione 2.7.0 o successiva (come indicato nella documentazione di Computer Use), oltre a Playwright per l’esecuzione nel browser:

pip install google-genai playwright
playwright install chromium

L’esempio nella documentazione avvia Chromium con headless=False, una viewport 1440 x 900 e l’URL iniziale https://www.google.com. La richiesta imposta "environment": "browser", il modello gemini-3.8-flash e il tipo di tool computer_use. Gli esempi completi di agent loop in Python, JavaScript, Java e Go usano un limite di 5 turni come dimostrazione, non come quota imposta dall’API.

Le coordinate sono il punto in cui molte implementazioni inciampano. Il modello restituisce x e y normalizzate su uno spazio di 1000 x 1000, in genere come interi da 0 a 999. Spetta a te convertirle nei pixel effettivi:

actual_x = int(x / 1000 * screen_width)
actual_y = int(y / 1000 * screen_height)

Le dimensioni del display non vanno inviate nella richiesta. Nelle risposte di Gemini 4 e Gemini 3.x ogni action include anche una stringa intent, che spiega perché il modello l’ha scelta, oltre a un eventuale safety_decision.

Modelli e ambienti compatibili

I modelli che supportano Computer Use sono quattro, secondo l’attuale documentazione di Computer Use. Gemini 3.8 Flash è il modello consigliato da Google per l’interazione con le UI e per un tool calling affidabile. Gemini 4 Argon è invece presentato come l’opzione più capace per workflow agentici complessi.

La reference su GitHub (google-gemini/computer-use-preview, Apache-2.0) esegue lo stesso compito in due modi: Chrome locale tramite Playwright oppure un browser cloud Browserbase. Il comando CLI è python main.py --query "Go to Google and type 'Hello World' into the search bar" --env="playwright", con --initial_url impostato di default su https://www.google.com e --highlight_mouse per il debug visivo. C’è anche un problema noto da tenere presente prima di perdere un’ora nel debugging: Playwright può non riuscire ad acquisire i menu a tendina HTML nativi <select>, perché il sistema operativo li disegna fuori dalla pagina. Il README indica Browserbase come soluzione preferibile rispetto all’iniezione di CSS o JavaScript.

I livelli di ragionamento permettono di bilanciare qualità delle action e velocità. I livelli più bassi sono adatti ai normali loop di compilazione e test; per stati ambigui dell’interfaccia può servire un livello di effort maggiore. La documentazione non pubblica i nomi dei livelli né dati sulla latenza, quindi è meglio trattare questa impostazione come una variabile da testare sui propri flussi.

Quanto costa

Computer Use non prevede un piano gratuito. La pagina dei prezzi lo specifica nella sezione Pricing for tools: Computer use non è disponibile nel piano Free, mentre nei piani Paid viene fatturato come token normali, per esempio alle tariffe di Gemini 3.8 Flash. Non esiste un sovrapprezzo separato per Computer Use: l’utilizzo viene conteggiato come token di input e output alle tariffe base del modello.

È proprio questo il dettaglio che può far lievitare il costo di un task. Ogni turno fattura lo screenshot in input, la cronologia che viene mantenuta e l’output dell’action: una compilazione in 20 passaggi equivale quindi a 20 chiamate con visione, oltre a eventuali retry. Una stima possibile è turns x (screenshot + history input tokens + action output tokens) x base-model rate. La pagina dei prezzi indica per Flash Standard $0.75 per l’input e $3.75 per l’output ogni 1M di token fino al 31 dicembre 2026; Batch e Flex riportano tariffe inferiori, ma Computer Use resta disponibile solo sui piani Paid.

Ogni round rimanda uno screenshot, che viene fatturato come token: i clic casuali fanno salire il conto, non si limitano a rompere la pagina. — @vastplan, account di deployment AI, post

Per tenere sotto controllo il budget, limita direttamente nel codice il numero di turni, la risoluzione degli screenshot e i retry.

La sicurezza che devi costruire tu

In Computer Use la sicurezza è un servizio che circonda il modello, non una funzione completamente incorporata in esso. Gemini 4 e Gemini 3.x valutano ogni action proposta rispetto a sette categorie di policy integrate e possono restituire require_confirmation oppure un blocco invece di un’action eseguibile. Il client deve gestire questa risposta ogni volta.

Quando il modello restituisce un safety_decision con decision: require_confirmation e una explanation come must check check-box, il flusso indicato nella documentazione è preciso: chiedere conferma alla persona, permetterle di continuare o terminare e, in caso di approvazione, includere safety_acknowledgement nel successivo function_result con l’esito CONTINUE o TERMINATE. Disattivare policy tramite disabled_safety_policies (l’esempio disabilita data_modification) esprime soltanto una preferenza: la conferma può comunque essere richiesta.

Il rilevamento dei prompt injection è facoltativo e disattivato di default. Si abilita con enable_prompt_injection_detection: true ed è disponibile da Gemini 3.5 Flash-Lite in poi. Il sistema analizza gli screenshot alla ricerca di istruzioni nascoste come ignore previous commands e blocca l’esecuzione quando le rileva. Google raccomanda inoltre di usare una sandbox in una VM, un container Docker o un profilo browser dedicato con permessi limitati, insieme ad allowlist o blocklist per la navigazione, sanitizzazione degli input, guardrail sui contenuti, uno stato GUI stabile a partire da un ambiente pulito e log di prompt, screenshot, action function_call suggerite, risposte di sicurezza e azioni eseguite, così da avere una traccia per gli audit.

Le istruzioni di sicurezza dell’esempio elencano ciò che non deve mai essere eseguito autonomamente: accettare termini di servizio o banner dei cookie, risolvere CAPTCHA, completare acquisti o trasferire denaro, inviare email o post, modificare dati sanitari o finanziari oppure SSN e numeri di carta, scaricare file, condividere dati, leggere cronologia o password, effettuare il login, impersonare qualcuno o continuare all’infinito quando il sistema è bloccato. In produzione, il pattern corretto è lasciare all’agente il lavoro preparatorio e fermarlo prima dell’ultimo comando Send, Submit, Confirm purchase o Share.

Conviene usarlo ora? Checklist e confronto

La GA rende Computer Use una scelta ragionevole per l’automazione dei browser, la compilazione di moduli, i test UI automatizzati e la ricerca sulle pagine dei prodotti. Resta però un agente guidato dagli screenshot: può interpretare male un’interfaccia, perdere il contesto durante esecuzioni lunghe e consumare token con i retry.

Prima di abilitarlo per utenti reali:

• Fissa esplicitamente un model ID GA
• Limita il numero di turni e aggiungi il rilevamento dei loop inattivi
• Esegui il flusso in un profilo browser o container isolato con allowlist
• Richiedi conferma umana prima di ogni azione irreversibile
• Abilita il rilevamento dei prompt injection
• Registra screenshot e decisioni di sicurezza
• Avvia ogni task da uno stato pulito e noto
• Testa checkout e login con le conferme attive

Nei benchmark, la model card di Google riporta risultati della linea Gemini 2.5 Computer Use, non degli attuali modelli GA. Usali quindi come contesto sulla linea di modelli per i task nel browser:

Nella model card il controllo desktop tramite OSWorld non era ancora supportato, a fronte del 61.4% dichiarato per Claude. La documentazione attuale indica ora il desktop come supportato, ma il controllo a livello di sistema operativo va considerato più recente e meno collaudato rispetto ai flussi browser.

Un template Browserbase con Stagehand (npx create-browser-app --template gemini-cua) è una strada gestita da provare per prima se il rendering con Playwright locale crea problemi. In ogni caso, il conto e il confine di fiducia restano a tuo carico.

FAQ

Con la GA dell’API Gemini Computer Use sono cambiati gli endpoint?

No. Nell’annuncio della GA non è stato indicato alcun nuovo endpoint. Google elenca lo stesso tool sia nell’Interactions API sia nella GenerateContent API. Puoi usare lo stesso executor con il tool GA, impostando esplicitamente il model ID.

Gemini Computer Use è gratuito o a pagamento?

È disponibile solo sui piani Paid. La pagina ufficiale dei prezzi specifica che Computer Use non è disponibile nel piano Free e viene fatturato come token normali alle tariffe del modello sottostante. Ogni screenshot e ogni action del loop genera token fatturabili.

Quale modello Gemini conviene usare per Computer Use?

Google consiglia gemini-3.8-flash per la precisione UI e un tool calling affidabile. gemini-3.5-flash-lite è indicato per task ad alto volume e bassa latenza, mentre gemini-4-argon è adatto ai workflow agentici complessi. In produzione è meglio evitare i model ID preview.

Controlla un desktop completo o solo il browser?

La documentazione GA elenca il supporto per browser, dispositivi mobili Android e cursore desktop a livello di sistema operativo. I flussi browser sono quelli più maturi e meglio coperti dai benchmark. Il controllo desktop è più recente e va isolato con precauzioni maggiori.

Devo eseguire personalmente i clic?

Sì. Il modello propone soltanto una function_call con coordinate normalizzate da 0 a 999 e un’intenzione. Sarà il tuo harness Playwright, Browserbase o nativo a muovere il mouse, digitare, acquisire gli screenshot e restituire il risultato.

Come si gestiscono nel codice le conferme di sicurezza?

Controlla ogni risposta alla ricerca di safety_decision. In caso di require_confirmation, chiedi conferma all’utente e invia poi safety_acknowledgement con CONTINUE o TERMINATE nel successivo function_result. La gestione deve restare attiva anche se hai disabilitato una policy.

Per approfondire: prezzi di Gemini 3.8 Flash e costi dei task agentici, prezzi e disponibilità dell’API Gemini 4 Argon, recensione di CUA-Lite per gli agenti computer-use.