Un robot sur un sol d’usine doit voir une scène, prévoir comment elle va évoluer, et décider de son prochain mouvement plus vite qu’un aller-retour vers un GPU cloud ne le permet. C’est pour cette boucle que NVIDIA a conçu Cosmos 3 Edge : c’est le premier modèle du monde de la famille Cosmos réduit à 4 milliards de paramètres afin de pouvoir s’exécuter sur la machine elle-même, et non dans un centre de données. Il est utile pour les boucles robotiques sur l’appareil, sur du matériel de classe Jetson, mais comme le montrent les chiffres ci-dessous, ce n’est pas un remplacement direct des modèles Cosmos plus grands lorsque vous avez besoin de la qualité maximale.
Qu'est-ce que Cosmos 3 Edge
Cosmos 3 Edge est un « world model » ouvert de 4 milliards de paramètres : un modèle qui apprend le comportement du monde physique afin de pouvoir raisonner sur le mouvement, la causalité et les conséquences d’une action. NVIDIA l’a publié le 20 juillet 2026 dans son dépôt Cosmos 3 sur Hugging Face.
Il prend en entrée la vision, le texte et l’audio (ainsi que des images, des vidéos et des trajectoires d’action) et produit trois types de sortie : des jetons de raisonnement, de la vidéo et des jetons d’action. En termes simples, un seul modèle observe une scène, détermine ce qui se passe et émet les actions motrices qu’un robot devrait entreprendre ensuite, en fusionnant le pipeline « voir, raisonner, agir » qui s’étend généralement sur plusieurs systèmes distincts.
La différence avec ses « frères et sœurs » réside dans l’endroit où il s’exécute. Cosmos 3 Super et Nano, lancés avec la famille lors du GTC Taipei le 31 mai 2026, ciblent les stations de travail et les centres de données. Edge est la variante conçue pour fonctionner sur le robot, le véhicule ou la caméra industrielle elle-même. Le lancement a également élargi la Cosmos Coalition de NVIDIA, avec des entreprises japonaises de robotique et de fabrication, notamment Fanuc, Kawasaki Heavy Industries, Yaskawa, Sony et SoftBank, qui ont signé pour développer sur la plateforme.
Les chiffres sur l'appareil et ce qu'ils signifient pour un robot
NVIDIA cite trois chiffres clés pour Edge sur un module Jetson Thor. Chacun se traduit par une contrainte d’ingénierie concrète :
- Contrôle en temps réel à 15 Hz. Le modèle ferme une boucle complète de la perception à l’action environ toutes les 67 millisecondes. C’est assez rapide pour un contrôle robotique en boucle fermée continu, comme une manipulation et une navigation stables, bien que ce soit en dessous des cadences souhaitables pour des manœuvres dynamiques à grande vitesse.
- 32 actions par inférence. Un seul passage avant produit une courte *séquence* d’actions, et non une seule étape. Le robot reçoit un bloc de mouvement planifié à exécuter pendant que l’inférence suivante s’exécute, ce qui permet à une boucle à 15 Hz de rester fluide au lieu d’être saccadée. Le compromis est la réactivité : un contrôleur qui ne peut pas interrompre un bloc réagira trop tard à une surprise, donc le découpage des actions se combine au mieux avec une replanification à horizon reculent.
- Observations 640×360. C’est la résolution sur laquelle le modèle raisonne sur l’appareil. Elle suffit pour suivre des objets et prédire des trajectoires, et c’est un compromis délibéré pour respecter le budget de calcul. L’inspection visuelle fine n’est pas l’usage de cette résolution.
La latence sur du matériel plus puissant complète le reste du tableau. Sur un seul H100, Edge renvoie une politique de robot (une action DROID) en 1,25 seconde et exécute les dynamiques directe et inverse (en prédisant le prochain état du monde, ou en inférant l’action entre deux états) en environ 3,6 secondes chacune. La génération complète d’image vers vidéo est l’opération lourde, à 23,92 secondes, ce qui vous indique où le modèle est peu coûteux (action et dynamiques) et où il est coûteux (génération).
Comment un modèle 4B raisonne et agit à la fois
La capacité d'intégrer la compréhension *et* la génération dans 4 milliards de paramètres vient de l'architecture. Edge exécute deux tours de transformeur qui partagent leurs couches d'attention multimodale : une tour auto-régressive qui prend en charge le raisonnement et la compréhension en prédisant le prochain token, et une tour de diffusion qui prend en charge la génération en débruitant de manière itérative. Parce qu'elles partagent l'attention, le modèle peut ancrer ce qu'il génère dans ce sur quoi il a raisonné, réalisant un « voir, puis agir » dans un seul réseau plutôt que dans une chaîne de transmissions.
Edge se distingue de ses homologues d’une autre manière encore. Cosmos 3 Nano et Super sont construits sur des poids Qwen3-VL préentraînés ; Edge est un modèle dense entraîné de zéro pour le cas d’usage edge. Cette orientation explique pourquoi un modèle de 4B rivalise ici dans sa catégorie au lieu de donner l’impression d’être une simple réduction naïve d’un modèle plus grand.
Edge vs Nano vs Super : quel Cosmos 3 exécuter
Les trois variantes ne sont pas des niveaux du même produit que l’on choisit selon le budget ; elles correspondent à *l’endroit où le modèle s’exécute physiquement*. Définissez d’abord le matériel, puis la variante suit.
| Variante | Paramètres | Composition | Matériel cible | Idéal pour |
|---|---|---|---|---|
| Edge | 4B | Dense, entraîné from scratch | Jetson (incl. new T2000 / T3000), Jetson Thor, GeForce RTX, DGX | Sur l'appareil, boucles robotiques en temps réel |
| Nano | 16B | 8B reasoner + 8B generator (Qwen3-VL) | Station de travail RTX PRO 6000 | Inférence en temps réel de niveau station de travail |
| Super | 64B | 32B reasoner + 32B generator (Qwen3-VL) | Centre de données Hopper / Blackwell | Qualité maximale, génération hors ligne |
Au-delà du tableau, le compromis qui détermine la plupart des projets est la capacité par rapport à la latence. Edge est la seule variante qui tient sur le robot, mais sa pile dense unique doit partager le temps entre le raisonnement et la génération ; Nano et Super les répartissent en deux moitiés distinctes, le raisonneur et le générateur, ce qui explique pourquoi ils font encore progresser la qualité et pourquoi ils ont besoin de GPU de station de travail ou de centre de données pour y parvenir. Écartez Edge lorsque la tâche repose sur des détails visuels fins, un contrôle à grande vitesse ou une vidéo en fidélité maximale.
Repères, dans leur contexte
Parmi les modèles d’une taille similaire de 4B, Cosmos 3 Edge se classe n°1 sur VANTAGE-Bench pour l’analyse visuelle et constitue l’état de l’art pour l’apprentissage de politiques robotiques, les deux tâches qu’il cible. Pour la génération, il produit du image-to-video en 480p et 24 fps avec une qualité compétitive sur les suites PAIBench et RBench, ce qui le destine davantage à la génération de données synthétiques et d’aperçus qu’à la concurrence avec des modèles vidéo dédiés.
Cela correspond à la famille plus large. Sur l’ensemble de la gamme Cosmos 3, NVIDIA indique des classements n°1 des modèles ouverts sur sept classements d’IA physique, couvrant le raisonnement (moyennes Robotics, Smart Space et Driving) et la génération (R-Bench, Artificial Analysis, RoboLab et RoboArena). Il s’agit de résultats communiqués par le fournisseur ; il faut donc les comprendre comme « le plus performant dans sa catégorie de taille pour la perception et le contrôle sur l’appareil », et non comme le modèle Cosmos le plus performant au global.
Où Cosmos 3 Edge montre ses limites
Le petit et embarqué sur l’appareil implique un ensemble de compromis, et ils méritent d’être nommés avant que vous vous engagiez :
- Plafond de résolution. Des observations en 640×360 conviennent pour la prédiction de trajectoire, mais sont limitantes pour les tâches qui reposent sur des détails visuels fins, comme l’inspection de petits défauts.
- Plafond de capacité. 4B paramètres limitent la quantité de raisonnement à long horizon et de génération haute fidélité que le modèle peut effectuer. Lorsque la qualité compte plus que la latence, Nano ou Super sont le bon choix.
- L’adaptation est attendue, pas facultative. NVIDIA documente la personnalisation du modèle de base pour un robot, un ensemble de capteurs ou un environnement spécifiques en environ une journée sur un petit cluster H100 ou DGX Station. C’est rapide, mais cela indique aussi que le comportement prêt à l’emploi dans un environnement non familier et non structuré nécessite généralement d’abord un réglage.
- La génération est une compétence secondaire. Le modèle peut générer de la vidéo, mais ce n’est pas là qu’il excelle ; considérez-le comme un modèle de perception et d’action qui peut aussi générer, et non comme un modèle de génération.
Comment le faire fonctionner
Les poids sont publics sur huggingface.co/nvidia/Cosmos3-Edge, publiés sous la licence OpenMDW 1.1, une licence ouverte pour les poids du modèle qui autorise l’utilisation commerciale et le fine-tuning. (Certaines premières publications l’ont appelée Apache 2.0 ; la carte du modèle indique OpenMDW 1.1, alors vérifiez le texte de la licence pour ses conditions d’attribution et de distribution avant de le déployer.)
Pour le déploiement, NVIDIA recommande d’optimiser les checkpoints avec des frameworks d’inférence ouverts tels que vLLM, en plus de ses propres microservices NIM, ainsi que l’export ONNX pour déployer le modèle sur du matériel Jetson. La famille plus large fournit également un Cosmos3OmniPipeline dans Hugging Face Diffusers. Une voie réaliste pour une équipe de robotique consiste à : télécharger depuis Hugging Face, affiner sur vos propres données de tâche pendant environ une journée (selon les indications de NVIDIA), puis exporter et déployer sur la cible embarquée.
Les mêmes poids s’exécutent sur une large gamme de matériel : les modules Jetson, y compris les nouveaux T2000 et T3000, Jetson Thor, les GPU GeForce RTX et RTX PRO, ainsi que les systèmes DGX, de sorte que le même modèle peut passer du poste de travail d’un développeur à la machine déployée sans réécriture.
FAQ
Cosmos 3 Edge est-il open source ?
Les poids sont librement téléchargeables sous la licence OpenMDW 1.1, qui autorise l’utilisation commerciale et le fine-tuning. Cela en fait des « open weights » que vous pouvez exécuter et adapter vous-même, plutôt qu’une version réservée à une API ; le code d’entraînement et les données constituent une question distincte que le texte de la licence précise.
Quel matériel Cosmos 3 Edge nécessite-t-il ?
Il est conçu pour fonctionner sur l’appareil sur les modules NVIDIA Jetson (y compris les nouveaux T2000 et T3000 annoncés récemment) ainsi que sur Jetson Thor, et il fonctionne également sur les GPU GeForce RTX et RTX PRO ainsi que sur les systèmes DGX. La valeur de contrôle de 15 Hz est indiquée spécifiquement pour Jetson Thor, donc attendez-vous à des fréquences plus faibles sur les modules Jetson plus petits.
Quand Cosmos 3 Edge a-t-il été publié ?
Cosmos 3 Edge a été lancé le 20 juillet 2026 et s’est ajouté à la famille Cosmos 3, présentée pour la première fois au GTC Taipei le 31 mai 2026.
Cosmos 3 Edge ou Nano : lequel devrais-je utiliser ?
Choisissez en fonction de l’endroit où le modèle s’exécute. S’il doit s’exécuter sur le robot ou la caméra elle-même, utilisez Edge (4B). S’il s’exécute sur une station de travail à côté de la machine, Nano (16B) offre une meilleure qualité pour le surcroît de calcul.