Guide de l’API Gemini Computer Use désormais disponible : tarifs et sécurité

Google a fait passer Gemini Computer Use en disponibilité générale le 30 octobre 2026, avec une annonce réduite à deux lignes dans le journal des modifications : disponibilité générale dans les API Interactions et GenerateContent, sans nouveau modèle ni changement de tarif. Pour une équipe qui prépare la production, l’essentiel est donc clair : la boucle basée sur les captures d’écran et la facturation des tokens restent les mêmes, mais l’outil peut désormais servir de base stable.

Le passage en disponibilité générale écarte l’objection liée au statut preview. En revanche, la facturation des captures et la gestion des actions sensibles restent à votre charge.

Ce que change réellement la disponibilité générale du 30 octobre

L’entrée du 30 octobre 2026 dans le journal des modifications dit une chose : l’outil Computer Use est désormais généralement disponible dans l’API Interactions comme dans l’API GenerateContent. Le journal ne mentionne ni nouvel identifiant de modèle, ni nouveau schéma d’action, ni limite de débit, ni tarif dans cette annonce.

Le changement concerne donc le statut, pas le fonctionnement. Les intégrations preview qui utilisaient computer_use avec une boucle de captures d’écran continuent de fonctionner. La disponibilité générale supprime la contrainte liée au statut preview, mais la fiabilité et la sécurité dépendent toujours de votre implémentation. Rien ne change non plus sur trois points : la facturation reste réservée aux offres payantes et s’effectue comme pour des tokens classiques, vous exécutez toujours vous-même chaque clic et toute action ayant des conséquences doit encore passer par votre logique de confirmation.

Si vous avez construit votre intégration sur la preview de Gemini 2.5 Computer Use (annoncée le 7 octobre 2025 en tant que preview publique), la migration relève davantage de la configuration que de la réécriture. Dirigez les requêtes vers l’outil disponible dans l’API Interactions (https://generativelanguage.googleapis.com/v1/interactions dans l’exemple REST) ou dans GenerateContent, conservez votre exécuteur Playwright ou Browserbase, puis retestez les décisions de sécurité. L’implémentation de référence utilise encore par défaut gemini-3.6-flash dans son exemple de README : mieux vaut donc épingler explicitement un identifiant de modèle compatible avec la disponibilité générale.

Le fonctionnement de la boucle d’exécution

L’API Gemini Computer Use ne pilote pas directement votre ordinateur. Votre application envoie une capture d’écran et une instruction ; le modèle renvoie une action d’interface proposée sous forme de function_call. Votre code l’exécute, prend une nouvelle capture, puis la renvoie au modèle. La boucle se poursuit jusqu’à la fin de la tâche, une erreur, un arrêt de sécurité ou l’interruption par l’utilisateur.

Le chemin Python minimal nécessite google-genai en version 2.7.0 ou ultérieure (d’après la documentation Computer Use), ainsi que Playwright pour piloter le navigateur :

pip install google-genai playwright
playwright install chromium

L’exemple de la documentation lance Chromium avec headless=False, une fenêtre de 1440 x 900 et une page initiale à l’adresse https://www.google.com. La requête définit "environment": "browser", utilise le modèle gemini-3.8-flash et le type d’outil computer_use. Les exemples complets de boucle agentique en Python, JavaScript, Java et Go utilisent une limite de 5 tours à titre d’exemple ; il ne s’agit pas d’un quota général de l’API.

Les coordonnées sont le point qui piège le plus souvent les implémentations. Le modèle renvoie x et y dans un espace normalisé de 1000 x 1000, généralement sous forme d’entiers compris entre 0 et 999. C’est à vous de les convertir en pixels réels :

actual_x = int(x / 1000 * screen_width)
actual_y = int(y / 1000 * screen_height)

Les dimensions de l’écran ne sont pas transmises dans la requête. Avec les réponses de Gemini 4 et Gemini 3.x, chaque action contient également une chaîne intent qui explique pourquoi le modèle l’a choisie, ainsi qu’un éventuel safety_decision.

Modèles et environnements compatibles

Quatre modèles prennent actuellement en charge Computer Use dans la documentation Computer Use. Gemini 3.8 Flash est le modèle recommandé par Google pour les interactions avec les interfaces et les appels d’outils fiables. Gemini 4 Argon vise les workflows agentiques complexes et se positionne comme le plus capable.

La référence GitHub (google-gemini/computer-use-preview, sous licence Apache-2.0) exécute une même tâche de deux façons : avec Chrome et Playwright en local, ou avec un navigateur cloud Browserbase. La commande CLI est python main.py --query "Go to Google and type 'Hello World' into the search bar" --env="playwright". L’option --initial_url pointe par défaut vers https://www.google.com et --highlight_mouse sert au débogage visuel. Un problème connu mérite d’être gardé en tête avant d’y passer une heure : Playwright peut ne pas capturer les listes déroulantes HTML natives <select>, car le système d’exploitation les affiche en dehors de la page. Le README présente Browserbase comme une meilleure solution que l’injection CSS/JS.

Les niveaux de réflexion permettent d’arbitrer entre qualité des actions et rapidité. Les niveaux bas conviennent aux boucles classiques de remplissage et de test ; un effort supérieur sera plus adapté aux interfaces ambiguës. La documentation ne publie ni noms de niveaux ni chiffres de latence : traitez donc ce réglage comme un paramètre à tester en A/B sur vos propres parcours.

Combien ça coûte

Computer Use ne dispose d’aucune offre gratuite. La page des tarifs l’indique clairement dans la section consacrée aux outils : Computer Use n’est pas disponible dans l’offre Free et, dans l’offre Paid, la facturation s’effectue comme pour des tokens classiques, par exemple aux tarifs de Gemini 3.8 Flash. Aucun supplément spécifique à Computer Use n’est appliqué : l’utilisation est facturée en tokens d’entrée et de sortie selon les tarifs du modèle.

C’est cette simple règle qui provoque les mauvaises surprises. Chaque tour facture l’image envoyée, l’historique conservé et la sortie correspondant à l’action ; un remplissage de formulaire en 20 étapes représente donc 20 appels de vision, sans compter les nouvelles tentatives. Pour estimer le coût, utilisez tours x (tokens d'entrée de la capture + tokens d'entrée de l'historique + tokens de sortie de l'action) x tarif du modèle. La page des tarifs indique, pour Flash Standard, 0,75 $ par million de tokens en entrée et 3,75 $ par million en sortie jusqu’au 31 décembre 2026. Batch et Flex affichent des tarifs de tokens inférieurs, mais Computer Use reste réservé aux offres Paid.

Chaque tour renvoie une capture d’écran, facturée en tokens : les clics aléatoires font grimper la facture, pas seulement les risques de casser la page. — @vastplan, compte consacré au déploiement de l’IA, publication

Pour garder le contrôle du budget, limitez dans le code le nombre de tours, la résolution des captures et les nouvelles tentatives.

La sécurité reste à construire de votre côté

Avec Computer Use, la sécurité repose sur un service autour du modèle, pas sur le modèle seul. Gemini 4 et Gemini 3.x évaluent chaque action proposée selon sept catégories de règles intégrées et peuvent renvoyer require_confirmation ou un blocage plutôt qu’une action exécutable. Votre client doit traiter cette réponse à chaque fois.

Lorsque le modèle renvoie un safety_decision avec decision: require_confirmation et une explanation telle que must check check-box, le parcours décrit dans la documentation est sans ambiguïté : demandez l’accord de l’utilisateur, laissez-le poursuivre ou arrêter, puis incluez safety_acknowledgement dans le prochain function_result, avec votre résultat CONTINUE ou TERMINATE. Désactiver des règles via disabled_safety_policies — l’exemple désactive data_modification — ne fait qu’exprimer une préférence ; une confirmation peut tout de même être exigée.

La détection des injections de prompt est désactivée par défaut et doit être activée explicitement. Utilisez enable_prompt_injection_detection: true ; cette fonction est disponible avec Gemini 3.5 Flash-Lite ou une version ultérieure. Elle analyse les captures à la recherche d’instructions cachées comme ignore previous commands et bloque l’exécution lorsqu’elle en détecte. Google recommande également un bac à sable dans une VM, un conteneur Docker ou un profil de navigateur dédié aux permissions limitées, ainsi que des listes d’autorisation ou de blocage pour la navigation, la validation des entrées, des garde-fous sur le contenu, un état d’interface stable au démarrage et la journalisation, à des fins d’audit, des prompts, captures, actions function_call proposées, réponses de sécurité et actions effectivement exécutées.

L’instruction de sécurité fournie en exemple énumère ce qui ne doit jamais être exécuté de façon autonome : accepter des conditions d’utilisation ou des bannières de cookies, résoudre des CAPTCHA, finaliser des achats ou déplacer de l’argent, envoyer des e-mails ou des publications, modifier des dossiers médicaux ou financiers, ou des numéros de sécurité sociale et de carte bancaire, télécharger des fichiers, partager des données, consulter un historique ou des mots de passe, se connecter, usurper une identité, ou boucler indéfiniment lorsque l’agent est bloqué. En production, le schéma recommandé consiste à laisser l’agent préparer l’action, puis à l’arrêter avant le dernier clic sur Envoyer, Soumettre, Confirmer l’achat ou Partager.

Faut-il le déployer maintenant ? Checklist et comparaison

La disponibilité générale fait de Computer Use une option crédible pour l’automatisation des navigateurs, le remplissage de formulaires, les tests d’interface automatisés et la recherche sur des pages produit. Il s’agit néanmoins toujours d’un agent piloté par captures d’écran, susceptible de mal interpréter une interface, de perdre le contexte lors des longues sessions et de consommer des tokens en nouvelles tentatives.

Avant de l’activer pour de vrais utilisateurs :

• Épinglez un identifiant de modèle explicitement compatible avec la disponibilité générale
• Limitez le nombre de tours et détectez les boucles inactives
• Exécutez l’agent dans un profil de navigateur ou un conteneur isolé avec une liste d’autorisation
• Exigez une confirmation humaine avant toute action irréversible
• Activez la détection des injections de prompt
• Journalisez les captures d’écran et les décisions de sécurité
• Commencez chaque tâche dans un état propre et connu
• Testez les parcours de paiement et de connexion avec les confirmations activées

Dans les benchmarks, la fiche modèle de Google présente les résultats de la lignée Computer Use 2.5, et non ceux des modèles actuels disponibles en version générale. Considérez-les comme un repère historique pour les tâches de navigation :

Le contrôle d’un ordinateur de bureau avec OSWorld n’était pas encore pris en charge dans cette fiche, contre 61,4 % annoncés par Claude. La documentation actuelle indique désormais que le bureau est compatible, mais considérez le contrôle au niveau du système comme plus récent et moins éprouvé que les parcours web.

Si le rendu de Playwright en local vous pose problème, le template Browserbase avec Stagehand (npx create-browser-app --template gemini-cua) constitue une première option hébergée à tester. Dans tous les cas, la facture et la frontière de confiance restent sous votre responsabilité.

FAQ

L’API Gemini Computer Use a-t-elle changé d’endpoint lors de sa disponibilité générale ?

Aucun nouvel endpoint n’a été annoncé dans l’entrée consacrée à la disponibilité générale. Google indique que le même outil est disponible dans l’API Interactions et dans l’API GenerateContent. Il suffit de diriger le même exécuteur vers l’outil avec un identifiant de modèle explicite.

Gemini Computer Use est-il gratuit ou payant ?

Il est réservé à l’offre Paid. La page officielle des tarifs précise que Computer Use n’est pas disponible dans l’offre Free et qu’il est facturé comme des tokens classiques, aux tarifs du modèle sous-jacent. Chaque capture et chaque action de la boucle génèrent des tokens facturables.

Quel modèle Gemini choisir pour Computer Use ?

Google recommande gemini-3.8-flash pour la précision des interfaces et la fiabilité des appels d’outils. Utilisez gemini-3.5-flash-lite pour les tâches à faible latence et à fort volume, et gemini-4-argon pour les workflows agentiques complexes. Évitez les identifiants preview en production.

Contrôle-t-il un ordinateur complet ou uniquement le navigateur ?

La documentation disponible en version générale mentionne la prise en charge du navigateur, des appareils mobiles Android et du curseur au niveau du système de bureau. Les parcours web sont les plus matures et les mieux évalués. Le contrôle du bureau étant plus récent, isolez-le davantage.

Dois-je exécuter moi-même les clics ?

Oui. Le modèle propose uniquement un function_call avec des coordonnées normalisées de 0 à 999 et une intention. C’est votre environnement Playwright, Browserbase ou natif qui déplace la souris, saisit le texte, prend les captures et renvoie le résultat.

Comment gérer les confirmations de sécurité dans le code ?

Vérifiez chaque réponse à la recherche de safety_decision. En cas de require_confirmation, demandez l’accord de l’utilisateur, puis envoyez safety_acknowledgement avec CONTINUE ou TERMINATE dans le prochain function_result. Continuez à gérer ce cas même après avoir désactivé une règle.

À lire également : tarifs de Gemini 3.8 Flash et coût des tâches agentiques, tarifs et disponibilité de l’API Gemini 4 Argon, test de CUA-Lite pour les agents capables d’utiliser un ordinateur.