AIREITER

Test de Factory Droid 1.0 : un harness plus léger, les mêmes limites

Dernière mise à jour: 2026-10-30 00:29:01

Factory a lancé Droid 1.0 le 29 octobre 2026. Sa promesse centrale tient en un mot : l’efficacité. Le seul mode Script réduit déjà le coût de 15 % sur Claude Opus 5.5, avec un meilleur résultat face à un harness concurrent à 24 % de moins. Mais le vrai sujet pour les acheteurs reste inchangé : les limites d’utilisation glissantes et le volume de travail de vérification qu’un harness plus rapide peut générer.

Ce que Factory Droid 1.0 apporte réellement

Factory Droid 1.0 est une nouvelle version du harness, pas un nouveau modèle de fondation. Factory Droid reste un agent de développement indépendant du modèle, qui enveloppe des modèles propriétaires et open source avec ses propres prompts, outils, mécanismes de traitement des résultats et boucle d’exécution. C’est cette boucle que la version 1.0 fait évoluer.

Droid 1.0 fonctionne sur Desktop, dans le terminal via la CLI et avec le SDK. Le même agent est aussi accessible depuis le web, Slack, Microsoft Teams, Linear, Jira et en mode headless avec droid exec pour les scripts et la CI. Factory indique que le mode Script — son appellation pour les appels d’outils programmatiques — est activé par défaut avec GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Astra, GPT-6 Sol, GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Claude Opus 5.5, Claude Opus 5 et Kimi K3.

Le choix du modèle reste libre. On peut sélectionner un modèle manuellement, laisser Factory Router choisir automatiquement, ou utiliser ses propres clés et des endpoints locaux comme Ollama, LM Studio et vLLM grâce au BYOK.

Le fonctionnement concret des appels d’outils programmatiques

Avec les appels d’outils programmatiques, le modèle écrit un programme JavaScript au lieu d’appeler les outils un par un. Ce programme s’exécute dans un sandbox dépourvu d’accès direct à ses propres fichiers, au réseau ou au système. Il appelle les outils comme des variables, applique des filtres et des boucles de manière déterministe, puis ne renvoie au contexte du modèle que les résultats sélectionnés.

Dans une boucle d’agent classique, les sorties brutes sont réinjectées dans le contexte après chaque appel isolé. Le mode Script les filtre en amont, directement dans le code. Les instructions ne sont ainsi envoyées qu’une seule fois, des centaines d’appels peuvent être regroupés dans une même requête au modèle et la taille des sorties affichées reste plafonnée.

Deux exemples détaillés du billet de recherche de Factory sur les harness de pointe (29 octobre 2026) permettent de mesurer l’écart :

WorkflowAppels directs aux outils (estimation)Mode Script
Déplacer et vérifier 151 tickets Linear, 312 appels d’outils, 15 champs contrôlés par écriture~36 requêtes au modèle, ~3,1 M de tokens en entrée2 requêtes, ~61 k tokens
Parcourir 5 384 tâches de bureau sur 547 exécutions, 550 appels d’outils par lots de 60~59–187 requêtes2 requêtes, résumé de 5 chiffres incluant 41 tâches en échec, <0,1 % des résultats d’outils transmis au contexte

Factory a également rejoué une correction de test unitaire avec GPT-6.1 Sol. Les appels directs ont nécessité 10 appels au modèle et 56,8 secondes, contre 5 appels et 41,6 secondes en mode Script. Le temps consacré aux appels au modèle est passé de 42,3 à 28,0 secondes. Les programmes attendent jusqu’à 5 minutes avant de renvoyer les résultats disponibles, peuvent continuer en arrière-plan et réveillent le modèle à la fin au lieu d’interroger régulièrement leur état.

Terminal-Bench 4 : face-à-face avec Codex, Claude Code, Cursor, Devin et OpenCode

Les comparaisons de Factory sur Terminal-Bench 4 font tourner les mêmes modèles dans plusieurs harness entre le 23 et le 28 octobre 2026. Tous les chiffres ci-dessous sont des résultats déclarés par Factory, sans vérification indépendante. Les scores absolus et les coûts en dollars ne sont pas communiqués : seuls les écarts le sont.

ModèleFactory Droid 1.0 face au harness concurrentÉcart annoncé
GPT-6.1 Solface à Codex+3,5 points de précision, −12 % de coût ; Droid est 10 % plus lent par tâche réussie
GPT-6.1 Solface à OpenCode et Devin+6,6 à +12,6 points ; 4 à 11 % plus rapide
Claude Opus 5.5face à Claude Code, Cursor, OpenCode et Devin+3,0 à +7,6 points ; jusqu’à −24 % de coût ; 16 à 26 % de temps en moins par tâche réussie
Claude Opus 5.5face spécifiquement à Claude Code−26 % de temps, −17 % de tokens par tâche réussie ; le mode Script réduit à lui seul le coût de 15 %

Trois réserves méthodologiques doivent être prises en compte avant de transformer ces écarts en preuve d’achat. Factory a considéré certaines tâches Devin comme réussies lorsque Codex les avait réussies, parce que Devin s’était arrêté pour poser des questions (moyenne de 4,7 tâches par essai, avec un effet limité à la précision). Pour deux essais, l’utilisation des tokens de Cursor a été estimée à partir des transcriptions après des reconnexions en cours de tâche. Enfin, certaines comparaisons avec les appels directs sont des estimations modélisées, pas des exécutions observées. Cursor a été exclu de la comparaison GPT-6.1 Sol, Factory indiquant que Cursor ne donnait pas accès aux modèles OpenAI au moment du test.

Les anciens scores Terminal-Bench de septembre 2025 cités dans des articles précédents sur Droid et dans des benchmarks de harness reposent sur un autre ensemble de tâches et une autre version du harness. Ils ne confirment donc ni n’infirment les écarts de la version 1.0 présentés ici.

La boucle Agent Factory et le travail d’ingénierie moins visible

Le billet de Factory sur les harness de pointe détaille la boucle Agent Factory et le travail qui l’accompagne : intégrer les nouveaux modèles, évaluer tous les modèles sur les mêmes tâches, analyser les échecs, tester chaque changement sur les modèles concernés, puis conditionner la sortie à une revue par des ingénieurs sur plus de 20 modèles.

Factory explique cette boucle par la nécessité d’un réglage propre à chaque modèle. Exemple cité : ajouter les numéros de ligne à chaque fichier lu a réduit le coût d’Opus de 22 % sur une tâche, pour environ 2 tokens par ligne, mais a augmenté celui de GLM de 8 % et celui de Kimi de 32 %. Factory a donc rendu cette numérotation optionnelle plutôt que systématique.

Les évolutions qui ne concernent pas les appels d’outils programmatiques ciblent le cache, la taille des prompts, la récupération après erreur et le démarrage :

  • Conservation du cache des prompts : ajouter les outils nouvellement découverts à la fin des requêtes plutôt qu’au début a porté la réutilisation à 98 % en moyenne pour les entrées provenant du cache sur les sept jours se terminant le 22 octobre 2026, et à 91,5 % en pondération par tokens sur 20,4 millions de requêtes CLI de production.
  • Réduction du prompt de base : l’entrée de la première requête est passée de 20 887 à 13 055 tokens (−37 %) entre les versions 0.170.0 et 0.250.0, tandis que les définitions d’outils sont passées de 15 798 à 8 528 (−46 %) ; les définitions initiales ont été réduites de 11 à 2 grâce au chargement à la demande.
  • Autonomie encadrée : 4 minutes de silence sur les flux Anthropic gérés par Factory déclenchent une nouvelle tentative, 3 tours sans sortie visible arrêtent la boucle, 3 appels d’outils identiques provoquent un avertissement et 6 l’arrêtent, tandis que les résumés de compactage sont passés de 8 000 à 16 000 tokens.
  • Démarrage et latence : le premier affichage médian est passé de 1 839 ms à 488 ms (~3,8 fois plus rapide), l’acceptation du prompt de 1 876 ms à 618 ms (~3,0 fois plus rapide), et le délai avant la première requête au modèle de 1 741 ms à 646 ms. Factory précise que la requête au modèle représente à elle seule environ 97 % de l’attente avant le premier token.

Tarifs et limites : là où les gains d’efficacité s’évaporent

Les tarifs de Factory Droid sont publics, mais pas la capacité réellement utilisable. Les offres sont claires côté prix et opaques côté volume : c’est précisément là que les gains d’efficacité de la version 1.0 peuvent disparaître.

OffrePrixCe que Factory indique
Pro20 $/moisLimites glissantes de base ; Desktop, CLI, SDK et suivi inclus
Plus100 $/mois~5 fois l’usage standard de Pro ; Droid Computers gérés sur la page tarifaire actuelle
Max200 $/mois~10 fois l’usage standard de Pro ; accès anticipé aux fonctionnalités
Teams60 $/mois + 40 $/siège (jusqu’à 10 sièges)Limites Pro par siège, facturation centralisée
Business / EnterpriseContacter le service commercialLimites personnalisées, SSO/SAML/SCIM, aucune conservation, audit, calcul dédié, déploiement sur site

L’utilisation repose sur des fenêtres glissantes de 5 heures, 7 jours et 30 jours, avec des multiplicateurs selon le modèle. La revue d’octobre 2026 de CodeToolPilot relève par ailleurs une contradiction entre la documentation et la page tarifaire concernant l’offre qui inclut Droid Computers : vérifiez ce point avant de souscrire. Une fois l’usage standard épuisé, le travail bascule vers le pool gratuit de modèles open weight Droid Core ou vers l’Extra Usage prépayé (minimum de 10 $, sans expiration). Les Missions nécessitent l’activation d’Extra Usage. Les clés BYOK sont stockées dans les réglages locaux et fonctionnent dans la CLI et Desktop, mais pas sur le web ou mobile hébergé ; elles sont gratuites jusqu’à la limite prévue par l’offre, puis facturées au tarif du plan.

Le piège est simple : un multiplicateur de « 5x » ne signifie pas cinq fois plus de travail terminé. Le débit dépend du modèle choisi, du comportement du cache, de la longueur du contexte, des boucles d’outils, de l’usage de l’ordinateur et des trajectoires en échec. Des utilisateurs intensifs sur Reddit disent épuiser le pool Max en quelques heures sur des tâches peu favorables au cache. Le mode Script réduit le problème, sans le supprimer.

Ce que les utilisateurs signalent actuellement

Les premiers retours sur X sont positifs, mais peu nombreux. L’historique plus fourni de Reddit, dans r/FactoryAi, fait ressortir trois reproches persistants à intégrer au calcul d’un essai : le manque de transparence des quotas, la lenteur et la charge CPU, ainsi que le travail de vérification généré par les sorties autonomes.

« Si vous comparez l’usage, l’offre de Droid ne pourra probablement pas rivaliser avec les offres subventionnées d’Anthropic et d’OpenAI… Mais en tant que harness, je l’ai personnellement trouvé supérieur à Claude Code. Dans mon usage, ça “fonctionne tout simplement” (un meilleur prompt système, peut-être), le mode Specification est excellent et tous les éléments UX nécessaires sont là. » — u/FahimAdib11, r/FactoryAi

Dans les mêmes discussions, d’autres utilisateurs évoquent :

  • un forfait Max épuisé en ~4 heures lors d’exécutions peu compatibles avec le cache (« Le cache est vraiment très mauvais ») — discussion sur les quotas
  • une utilisation CPU au repos autour de 101 %, contre ~6 % pour Claude Code, avec les MCP soupçonnés — discussion sur les performances
  • des redémarrages de session qui font perdre le contexte et imposent de le reconstituer inutilement

Les premiers retours pratiques publiés sur X reflètent le même contraste. Un utilisateur qui porte une intégration Claude Code de type t3code rapporte une consommation saine en mode Mission et décrit le harness comme étant « d’un autre niveau » (@Davidwuuu92), tout en reconnaissant que l’environnement cloud de Devin et sa flexibilité multiplateforme restent supérieurs.

La leçon tirée de l’évaluation de Factory par Continuum reste valable pour la version 1.0 : mesurez les changements acceptés, les minutes consacrées à la revue, les défauts qui passent en production, les interventions, les dépassements de limites et le coût total. Le nombre de sessions lancées ou de pull requests ouvertes ne suffit pas, car le débit autonome crée une dette de revue.

Faut-il migrer ou rester ? Vérification avant achat et test de 2 semaines

Droid 1.0 renforce l’argument en faveur d’un harness efficace, mais ne règle pas le problème de la prévisibilité des quotas. Les équipes qui en tireront le plus profit sont celles qui veulent standardiser un même environnement d’exécution entre modèles, interfaces et CI, et qui disposent des ressources nécessaires pour absorber la charge de revue.

Profil d’acheteurVerdict sur la version 1.0Pourquoi
Développeur solo utilisant déjà un modèle de pointe inclus ailleursRester, ou tester pendant un mois payantLes économies du mode Script dépassent rarement le prix d’un abonnement subventionné à un seul modèle pour un usage léger
Équipe qui standardise le terminal, la CI et la délégation par chat sur plusieurs modèlesCandidat sérieux à la migrationUn seul harness, Router/BYOK, Droid Computers, Missions et audit : la largeur de l’offre constitue le principal avantage
Organisation réglementée ou isolée du réseauÀ mettre sur la liste restreinteHybride/sur site, SSO, audit, export de télémétrie ; prix uniquement sur devis
Utilisateur à la recherche d’autocomplétion dans l’éditeur, sans capacité de revuePasser son cheminUne sortie plus rapide sans relecteurs produit du backlog, pas de la vélocité

Effectuez un test de 2 semaines sur le même dépôt avant de standardiser l’outil :

  1. Sélectionnez 20 tickets réels avec des tests d’acceptation définis.
  2. Lancez d’abord la CLI Droid en local, avec le mode Specification pour les tâches complexes.
  3. Conservez Claude Code ou Codex comme contrôle sur des tâches identiques.
  4. Ajoutez l’exécution distante, puis une petite Mission avec des validateurs déterministes.
  5. Notez chaque dépassement de limite, chaque bascule vers Droid Core, chaque prélèvement d’Extra Usage, les minutes de revue et le coût par jalon accepté. Reproduisez ensuite une tâche terminée sur une machine vierge pour détecter les écarts d’environnement.

Le compromis que la version 1.0 ne tranche pas est structurel : Factory estime que le harness compte davantage que le modèle, et affine le comportement de chaque modèle au sein de l’Agent Factory tout en restant indépendant du modèle. Si les prix ou les politiques de limitation des modèles de pointe évoluent, l’avantage actuel de 12 à 24 % lié au harness peut se réduire plus vite que ne le compenseront les lots du mode Script. Les conditions contractuelles concernant les limites, la conservation des données et le routage méritent donc autant d’attention que le tableau de benchmarks.

FAQ sur Factory Droid 1.0

Factory Droid 1.0 vaut-il les 20 $ de l’offre Pro ?

Factory Droid 1.0 peut justifier ses 20 $ pour les développeurs qui effectuent suffisamment de travail d’agent dans le terminal pour ressentir le coût des tokens et de la latence, en particulier sur les tâches impliquant plusieurs fichiers ou tickets, où le mode Script regroupe les appels d’outils. Pour un usage léger ou limité à un seul modèle, un agent déjà inclus dans un autre abonnement peut revenir moins cher.

Factory Droid propose-t-il un essai gratuit ou une offre gratuite ?

Factory Droid n’affiche pas d’offre gratuite classique, et des revues récentes indiquent que l’inscription demande un moyen de paiement. Une fois l’offre payante épuisée, le service bascule vers le pool gratuit de modèles open weight Droid Core, mais un forfait payant reste nécessaire.

Factory Droid 1.0 est-il meilleur que Claude Code ?

Selon les résultats Terminal-Bench 4 publiés par Factory, Droid 1.0 obtient de 3,0 à 7,6 points de plus que Claude Code avec Claude Opus 5.5, pour un coût jusqu’à 24 % inférieur et 26 % de temps en moins par tâche réussie. Ces chiffres sont déclarés par Factory ; les retours pratiques sur Reddit sont partagés entre les utilisateurs qui préfèrent le harness de Droid et ceux qui privilégient la simplicité d’utilisation et le tarif de Claude Code.

Quels modèles activent le mode Script par défaut ?

Factory cite GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Astra, GPT-6 Sol, GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Claude Opus 5.5, Claude Opus 5 et Kimi K3. Les autres modèles utilisent des appels directs ou un réglage spécifique.

Que sont les Factory Missions et combien coûtent-elles ?

Les Factory Missions découpent les grands objectifs en jalons, avec des agents exécutants et validateurs pour les projets comportant plusieurs fonctionnalités. Elles nécessitent l’activation d’Extra Usage et consomment un budget prépayé variable en plus de l’usage standard glissant.

Factory Droid peut-il s’exécuter en CI et utiliser mes propres clés ?

Factory Droid fonctionne en mode headless via droid exec, avec une sortie JSON pour les scripts et la CI. Le BYOK prend en charge Anthropic, OpenAI, les endpoints compatibles, Bedrock et les instances locales Ollama/LM Studio/vLLM dans la CLI et Desktop. Les modèles personnalisés ne fonctionnent pas dans les applications web ou mobiles hébergées.

À lire également : les limites d’utilisation de Codex expliquées pour comparer les quotas, ainsi que le fonctionnement du harness de Microsoft Copilot pour un autre éclairage sur la conception des harness.