Ein Roboter auf einem Fabrikboden muss eine Szene sehen, vorhersagen, wie sie sich verändern wird, und seinen nächsten Schritt schneller entscheiden, als es eine Hin- und Rückfahrt zu einer Cloud-GPU erlaubt. Für diesen Regelkreis hat NVIDIA Cosmos 3 Edge entwickelt: Es ist das erste World Model in der Cosmos-Familie, auf 4 Milliarden Parameter verkleinert, sodass es direkt auf der Maschine selbst und nicht in einem Rechenzentrum ausgeführt werden kann. Es ist nützlich für On-Device-Roboter-Loopes auf Jetson-Klasse-Hardware, aber wie die Zahlen unten zeigen, ist es kein direkter Ersatz für die größeren Cosmos-Modelle, wenn maximale Qualität gefragt ist.
Was Cosmos 3 Edge ist
Cosmos 3 Edge ist ein offenes „Weltmodell“ mit 4 Milliarden Parametern: ein Modell, das lernt, wie sich die physische Welt verhält, damit es über Bewegung, Kausalität und die Folgen einer Handlung schlussfolgern kann. NVIDIA veröffentlichte es am 20. Juli 2026 in seinem Hugging-Face-Cosmos-3-Repository.
Es verarbeitet Vision, Text und Audio (sowie Bilder, Video und Aktionsverläufe) und erzeugt drei Arten von Ausgaben: Reasoning-Token, Video und Action-Token. Einfach gesagt beobachtet ein Modell eine Szene, ermittelt, was passiert, und gibt die Motoraktionen aus, die ein Roboter als Nächstes ausführen sollte, wodurch die „sehen, schlussfolgern, handeln“-Pipeline, die normalerweise mehrere separate Systeme umfasst, zusammengeführt wird.
Der Unterschied zu seinen Geschwistern liegt darin, wo es läuft. Cosmos 3 Super und Nano, die zusammen mit der Familie auf der GTC Taipei am 31. Mai 2026 vorgestellt wurden, zielen auf Workstations und Rechenzentren ab. Edge ist die Variante, die dafür entwickelt wurde, direkt auf dem Roboter, dem Fahrzeug oder der Industriekamera selbst zu laufen. Der Start erweiterte außerdem NVIDIAs Cosmos Coalition, wobei japanische Robotik- und Fertigungsunternehmen darunter Fanuc, Kawasaki Heavy Industries, Yaskawa, Sony und SoftBank zugesagt haben, auf der Plattform aufzubauen.
Die Zahlen auf dem Gerät und was sie für einen Roboter bedeuten
NVIDIA nennt drei zentrale Kennzahlen für Edge auf einem Jetson-Thor-Modul. Jede davon lässt sich in eine konkrete technische Anforderung übersetzen:
- 15 Hz Echtzeit-Steuerung. Das Modell schließt etwa alle 67 Millisekunden einen vollständigen Wahrnehmungs-zu-Aktions-Loop. Das ist schnell genug für kontinuierliche geschlossene Robotersteuerung, etwa für ruhige Manipulation und Navigation, liegt aber unter den Raten, die man für schnelle dynamische Manöver benötigen würde.
- 32 Aktionen pro Inferenz. Ein einzelner Forward Pass gibt eine kurze *Sequenz* von Aktionen aus, nicht nur einen Schritt. Der Roboter erhält ein geplantes Bewegungsstück zur Ausführung, während die nächste Inferenz läuft; genau das sorgt dafür, dass ein 15-Hz-Loop flüssig statt ruckartig bleibt. Der Kompromiss ist die Reaktionsfähigkeit: Ein Controller, der ein Bewegungsstück nicht unterbrechen kann, reagiert auf eine Überraschung zu spät, daher passt Action Chunking am besten mit Replanning über einen receding horizon zusammen.
- 640×360 Beobachtungen. Das ist die Auflösung, über die das Modell on-device nachdenkt. Sie reicht aus, um Objekte zu verfolgen und Trajektorien vorherzusagen, und ist ein bewusster Kompromiss, um ins Compute-Budget zu passen. Für fein granulare visuelle Inspektion ist diese Auflösung nicht gedacht.
Die Latenz auf größerer Hardware vervollständigt das Gesamtbild. Auf einer einzelnen H100 liefert Edge eine Roboter-Policy (eine DROID-Action) in 1,25 Sekunden und führt Vorwärts- und Inversdynamik (Vorhersage des nächsten Weltzustands bzw. Ableitung der Aktion zwischen zwei Zuständen) jeweils in etwa 3,6 Sekunden aus. Die vollständige Bild-zu-Video-Generierung ist mit 23,92 Sekunden die rechenintensive Operation, was zeigt, wo das Modell günstig ist (Action und Dynamik) und wo es teuer ist (Generierung).
Wie ein 4B-Modell sowohl schlussfolgert als auch handelt
Das Einpassen von Verständnis *und* Generierung in 4 Milliarden Parameter ergibt sich aus der Architektur. Edge betreibt zwei Transformer-Türme, die ihre multimodalen Attention-Layer gemeinsam nutzen: einen autoregressiven Turm, der Schlussfolgern und Verstehen durch Vorhersage des nächsten Tokens übernimmt, und einen Diffusion-Turm, der die Generierung durch iteratives Ententrauschen übernimmt. Da sie die Attention teilen, kann das Modell das, was es erzeugt, in dem verankern, worüber es nachgedacht hat, und so „sehen, dann handeln“ in einem einzigen Netzwerk statt in einer Kette von Übergaben umsetzen.
Edge unterscheidet sich von seinen Geschwistern noch in einer weiteren Hinsicht. Cosmos 3 Nano und Super basieren auf vortrainierten Qwen3-VL-Gewichten; Edge ist ein dichtes Modell, das von Grund auf für den Edge-Case trainiert wurde. Dieser Fokus ist der Grund, warum ein 4B-Modell hier in seiner Klasse konkurriert, statt wie eine naive Verkleinerung eines größeren Modells zu wirken.
Edge vs Nano vs Super: welches Cosmos 3 auszuführen ist
Die drei Varianten sind keine Stufen derselben Sache, die man nach Budget auswählt; sie sind darauf abgestimmt, *wo das Modell physisch läuft*. Entscheiden Sie zuerst über die Hardware, dann folgt die Variante.
| Variante | Parameter | Zusammensetzung | Zielhardware | Am besten für |
|---|---|---|---|---|
| Edge | 4B | Dense, von Grund auf trainiert | Jetson (inkl. neue T2000 / T3000), Jetson Thor, GeForce RTX, DGX | On-Device, Echtzeit-Roboter-Loop |
| Nano | 16B | 8B Reasoner + 8B Generator (Qwen3-VL) | RTX PRO 6000 Workstation | Echtzeit-Inferenz in Workstation-Qualität |
| Super | 64B | 32B Reasoner + 32B Generator (Qwen3-VL) | Hopper / Blackwell Rechenzentrum | Maximale Qualität, Offline-Generierung |
Über die Tabelle hinaus ist der Kompromiss, der die meisten Projekte entscheidet, Kapazität versus Latenz. Edge ist die einzige Variante, die auf den Roboter passt, aber sein einzelner dichter Stack muss Reasoning und Generierung per Zeitscheibe gemeinsam nutzen; Nano und Super trennen diese in separate Reasoner- und Generator-Hälften, weshalb sie die Qualität weiter steigern und dafür Workstation- oder Rechenzentrums-GPUs benötigen. Schließen Sie Edge aus, wenn die Aufgabe auf feine visuelle Details, Hochgeschwindigkeitssteuerung oder Video in höchster Wiedergabetreue angewiesen ist.
Benchmarks im Kontext
Unter Modellen ähnlicher 4B-Größe belegt Cosmos 3 Edge Platz 1 auf VANTAGE-Bench für Vision-Analytik und ist Stand der Technik für das Lernen von Roboter-Policies, die beiden Aufgaben, auf die es abzielt. Für die Generierung erstellt es Image-to-Video in 480p und 24 fps mit wettbewerbsfähiger Qualität in den PAIBench- und RBench-Suites, was eher für Synthetic-Data- und Preview-Generierung geeignet ist, als mit spezialisierten Videomodellen zu konkurrieren.
Das passt zur größeren Familie. Über das gesamte Cosmos-3-Portfolio hinweg meldet NVIDIA #1-Platzierungen für Open-Modelle auf sieben Physical-AI-Bestenlisten, darunter Reasoning (durchschnittlich bei Robotics, Smart Space und Driving) sowie Generierung (R-Bench, Artificial Analysis, RoboLab und RoboArena). Dies sind vom Anbieter gemeldete Ergebnisse, also verstehen Sie sie als „stärkstes Modell seiner Größenklasse für On-Device-Wahrnehmung und -Steuerung“, nicht als stärkstes Cosmos-Modell insgesamt.
Wo Cosmos 3 Edge Schwächen zeigt
Klein und auf dem Gerät bedeutet eine Reihe von Kompromissen, und es lohnt sich, sie vor dem Festlegen zu benennen:
- Auflösungslimit. 640×360-Beobachtungen sind für Trajektorienvorhersagen in Ordnung, aber für Aufgaben mit hoher Abhängigkeit von feinen visuellen Details, wie etwa die Inspektion kleiner Defekte, einschränkend.
- Kapazitätslimit. 4B Parameter begrenzen, wie viel Langhorizont-Reasoning und hochpräzise Generierung das Modell leisten kann. Wenn Qualität wichtiger ist als Latenz, sind Nano oder Super die richtige Wahl.
- Anpassung ist zu erwarten, nicht optional. NVIDIA dokumentiert, dass die Anpassung des Basismodells an einen bestimmten Roboter, Sensorsatz oder eine bestimmte Umgebung auf einem kleinen H100- oder DGX-Station-Cluster etwa einen Tag dauert. Das ist schnell, deutet aber auch darauf hin, dass das Standardverhalten in einer unbekannten, unstrukturierten Umgebung normalerweise zunächst ein Tuning benötigt.
- Generierung ist eine sekundäre Fähigkeit. Das Modell kann Video generieren, aber darin liegt nicht seine Stärke; betrachten Sie es als ein Wahrnehmungs- und Aktionsmodell, das auch generieren kann, nicht als ein Generierungsmodell.
Wie man es zum Laufen bringt
Die Gewichte sind öffentlich verfügbar unter huggingface.co/nvidia/Cosmos3-Edge und werden unter der OpenMDW-1.1-Lizenz veröffentlicht, einer offenen Lizenz für Modellgewichte, die kommerzielle Nutzung und Fine-Tuning erlaubt. (Einige frühe Berichte bezeichneten sie als Apache 2.0; die Model Card führt OpenMDW 1.1 auf, daher sollten Sie den Lizenztext auf seine Bestimmungen zu Namensnennung und Weitergabe prüfen, bevor Sie es einsetzen.)
Für die Bereitstellung verweist NVIDIA auf die Optimierung der Checkpoints mit offenen Inferenz-Frameworks wie vLLM, zusammen mit den eigenen NIM-Mikroservices, sowie auf den ONNX-Export, um das Modell auf Jetson-Hardware zu bringen. Die breitere Familie liefert außerdem eine Cosmos3OmniPipeline in Hugging Face Diffusers. Ein realistischer Weg für ein Robotikteam ist: von Hugging Face herunterladen, auf den eigenen Aufgabendaten etwa einen Tag lang feinabstimmen (gemäß NVIDIAs Vorgabe) und dann exportieren und auf dem Zielgerät bereitstellen.
Dieselben Gewichte laufen auf einer breiten Palette von Hardware: Jetson-Module einschließlich der neuen T2000 und T3000, Jetson Thor, GeForce RTX- und RTX PRO-GPUs sowie DGX-Systeme, sodass dasselbe Modell ohne Neuschreiben vom Desktop eines Entwicklers auf die eingesetzte Maschine übertragen werden kann.
FAQ
Ist Cosmos 3 Edge Open Source?
Die Gewichte sind frei unter der OpenMDW 1.1-Lizenz herunterladbar, die kommerzielle Nutzung und Fine-Tuning erlaubt. Das macht sie zu „open weights“, die Sie selbst ausführen und anpassen können, statt zu einer reinen API-Veröffentlichung; der Trainingscode und die Daten sind eine separate Frage, die der Lizenztext ausdrücklich regelt.
Welche Hardware benötigt Cosmos 3 Edge?
Es ist dafür ausgelegt, direkt auf NVIDIA Jetson-Modulen (einschließlich der neu angekündigten T2000 und T3000) und Jetson Thor zu laufen, und es läuft auch auf GeForce RTX- und RTX PRO-GPUs sowie DGX-Systemen. Die 15-Hz-Steuerungsangabe bezieht sich ausdrücklich auf Jetson Thor, daher sollten auf kleineren Jetson-Modulen geringere Raten erwartet werden.
Wann wurde Cosmos 3 Edge veröffentlicht?
Cosmos 3 Edge wurde am 20. Juli 2026 eingeführt und der Cosmos-3-Familie hinzugefügt, die erstmals am 31. Mai 2026 auf der GTC Taipei vorgestellt wurde.
Cosmos 3 Edge oder Nano: welches sollte ich verwenden?
Wählen Sie danach aus, wo das Modell ausgeführt wird. Wenn es auf dem Roboter oder der Kamera selbst laufen muss, verwenden Sie Edge (4B). Wenn es auf einer Workstation neben der Maschine läuft, bietet Nano (16B) für die zusätzliche Rechenleistung mehr Qualität.