Iris Search Agent im Test: Erst Mini, nicht Pro

Iris wirkt wie ein leistungsstarker Open-Weight-Suchagent. Entscheidend ist aber nicht allein der Wert 88.6, sondern der BrowseComp-Sprung um 17.5 Punkte, den allein eine andere Kontextverwaltung bei Iris-mini auslöst. Wer starten will, nimmt Iris-mini mit dem offiziellen Harness; Iris-pro lohnt sich erst für Teams, die Multi-Node-Inferenz bereits betreiben.

Die Wahl zwischen Iris-mini und Iris-pro auf einen Blick

Für die Praxis ist die Empfehlung klar: Zuerst Iris-mini evaluieren. Iris-pro erzielt zwar höhere Werte, benötigt im offiziellen Launch-Beispiel aber deutlich mehr parallele Infrastruktur. Zudem bietet Stand 14. September 2026 keines der beiden Checkpoints einen gehosteten Hugging-Face-Inferenzanbieter.

Quellen: offizielle Modellkarte für Iris-mini, Modellkarte für Iris-pro und das Iris-Repository.

Gewichte, Modellkarten und der Evaluierungscode von Iris-Harness sind öffentlich. Im Repository stehen die Pipelines zur Datenkonstruktion und zum Training weiterhin als „coming soon“. Iris ist damit Open Weight mit offenem Evaluierungs-Harness, aber noch kein vollständig veröffentlichtes Trainingsrezept.

Benchmarkwerte hängen am Harness

Die Iris-Benchmarkwerte lassen sich nicht als reine Eigenschaft der Checkpoints lesen. AllSpark weist ausdrücklich darauf hin, dass ein veröffentlichter Wert immer dem Agenten samt Harness gehört. Die offiziellen Ablationen zeigen deutlich, warum das relevant ist.

Das offizielle Iris-GitHub-README beschreibt discard-all als Rücksetzung auf die ursprüngliche Frage, sobald der laufende Kontext einen Schwellenwert überschreitet. retry startet eine Episode ohne parsbare Antwort neu und übernimmt dabei eine kurze Zusammenfassung der bereits ausgeschlossenen Optionen.

Bei Iris-mini steigert discard-all BrowseComp von 64.7 auf 82.2 – also um 17.5 Punkte, ohne den Checkpoint zu wechseln. Bei Iris-pro steigt der Wert im selben Vergleich von 72.6 auf 88.6, ein Zugewinn von 16 Punkten. Wer das offizielle Konversationsformat, die Reset-Strategie, die Suchwerkzeuge oder den Answer-Parser weglässt, reproduziert nicht das beworbene System.

Auch die zentralen modellübergreifenden Tabellen verlangen Vorsicht. Laut AllSpark stammen die Baseline-Werte aus den öffentlichen Berichten der jeweiligen Projekte und können unterschiedliche Konfigurationen zur Kontextverwaltung nutzen. Iris-mini führt seine aufgeführte Größenklasse bei BrowseComp, BrowseComp-ZH und HLE an, doch bei DeepSearchQA liegt XYZ-Aquila-mini mit 89.5 gegenüber 86.9 weiterhin vorn. Iris-pro führt oder teilt sich die Spitze unter den aufgeführten Systemen mit rund 400B Parametern in allen vier Spalten; sein Vorsprung bei DeepSearchQA vor XYZ-Aquila-pro beträgt allerdings nur 0.4 Punkte.

Iris-mini oder Iris-pro: Die Infrastruktur entscheidet

Iris-mini ist der vernünftige erste Checkpoint, denn aktive Parameter heben den Speicher- und RAM-Bedarf des Gesamtmodells nicht auf. Der MoE-Router aktiviert pro Schritt rund 3B von 35B Parametern, doch der vollständige Checkpoint muss dennoch gespeichert und bereitgestellt werden.

Der offizielle Iris-mini-Befehl setzt auf vierfachen Tensor Parallelism und einen Kontext von 262,144 Tokens:

python -m sglang.launch_server \
  --model-path AllSpark-Research/Iris-mini \
  --served-model-name Iris-mini \
  --port 21234 --tp-size 4 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

Die dokumentierte Konfiguration für Iris-pro verwendet --tp-size 8 --ep-size 8. Laut der offiziellen Modellkarte benötigt der 397B-Checkpoint mehrere Nodes oder einen großen einzelnen Node. Das ist ein klarer Bereitstellungshinweis, keine kleine Konfigurationsabweichung.

Unter discard-all gewinnt das größere Modell gegenüber mini 6.4 Punkte bei BrowseComp und 6.0 bei DeepSearchQA, bei BrowseComp-ZH jedoch nur 0.3. Teams sollten den Infrastrukturwechsel nicht allein akzeptieren, weil „pro“ größer ist. Der Zugewinn muss für den tatsächlich evaluierten Workload relevant sein.

Keine der beiden Modellkarten veröffentlicht gemessene Latenz, Durchsatz, VRAM-Nutzung oder Betriebskosten. Ohne diese Werte ist ein verantwortungsvoller Vergleich der Kosten pro Antwort nicht möglich. Statt aus Parameterzahlen erfundene GPU-Schätzungen abzuleiten, ist ein begrenzter Pilot die bessere Wahl.

Erste Iris-Evaluierung sauber reproduzieren

Eine erste Iris-Evaluierung sollte den gesamten Agentenpfad testen und nicht bloß Trivia an einen Chat-Completions-Endpunkt schicken. Das offizielle Harness enthält Agentenschleife, Such- und Scrape-Tools, Kontextstrategien, Benchmark-Adapter und Grader.

1. Iris-mini mit den offiziellen Parsern bereitstellen. Den obigen SGLang-Befehl verwenden und prüfen, ob der OpenAI-kompatible Endpunkt auf Port 21234 erreichbar ist.
2. Iris-Harness installieren. Das Repository verwendet uv zum Anlegen der Umgebung.
3. Benchmark-Daten vorbereiten. Das enthaltene Vorbereitungsskript ausführen, statt eine improvisierte Kopie zusammenzustellen.
4. Mit einem kleinen Benchmark-Ausschnitt beginnen. Das offizielle Beispiel wählt browsecomp:0:1 und einen Discard-Schwellenwert von 131,072 Tokens.
5. Die vollständige Konfiguration dokumentieren. Modellrevision, Tool-Backend, Schwellenwert, Parser-Versionen und Retry-Strategie neben jedem Ergebnis festhalten.

git clone https://github.com/AllSpark-Research/Iris.git
cd Iris/Iris-Harness
uv sync
uv run python data/prepare_data.py

bash scripts/run_eval.sh \
  --base-url http://127.0.0.1:21234/v1 \
  --llm-config iris-mini \
  --benchmarks "browsecomp:0:1" \
  --context-discard-threshold 131072

Iris wurde für die OpenAI-Function-Calling-Schnittstelle trainiert und setzt finale Antworten in \boxed{}. Das Harness übernimmt außerdem vorherige Schlussfolgerungen in spätere Turns. Wer dieses Protokoll durch ein generisches Chat-Template ersetzt, kann Tool-Nutzung oder Bewertung beschädigen, obwohl die normale Textgenerierung unauffällig wirkt.

Für einen Pilotversuch bieten sich drei Abnahmekriterien an:

• Antwortqualität: Findet der Agent die geforderte Evidenz, statt nur die finale Entität zu erraten?
• Suchökonomie: Wie viele Search- und Scrape-Aufrufe fallen pro akzeptierter Antwort an?
• Wiederherstellungsverhalten: Vermeidet der Agent nach verworfenem Kontext oder einem Wiederholungsversuch denselben gescheiterten Pfad?

Der offizielle Release liefert weder ein Produktions-SLA noch einen gehosteten Endpunkt. Eine erfolgreiche Benchmark-Reproduktion zeigt, dass das System unter einem bekannten Harness läuft; sie belegt keine Zuverlässigkeit bei uneingeschränkter Webrecherche.

Was veröffentlicht ist – und was eine vollständige Reproduktion noch verhindert

Der aktuelle Iris-Release ist umfangreich, aber nicht vollständig. Entwickler können beide Checkpoints ohne Freigabeprozess herunterladen, sie unter Apache 2.0 kommerziell einsetzen, die Benchmarktabellen prüfen und Iris-Harness gegen einen OpenAI-kompatiblen Endpunkt ausführen.

Das Paper beschreibt, wie Multi-Hop-Fragen aus Hyperlink-Graphen rückkonstruiert, Trajektorien auf Ebene vollständiger Durchläufe und einzelner Turns gefiltert sowie überwachtes Fine-Tuning und Reinforcement Learning mit Live-Suche abgewechselt werden. Der Freigabestatus des Repositorys bedeutet jedoch: Externe Teams können Inferenz und Evaluierung reproduzieren, bevor sie das Training Ende-zu-Ende nachbilden können.

Die frühe Community-Diskussion bildet genau diesen Unterschied ab. Ein Account für Techniknachrichten fasste den Release so zusammen:

„Weights + eval code are public. Training data and recipe come later.” — @Chinazhidx

Das ist das angemessene Vertrauensniveau. Iris ist offiziell veröffentlicht und kein Gerücht, doch seine stärksten Aussagen brauchen weiterhin externe Läufe mit offengelegten Harness-Einstellungen. Beim Abruf am 14. September 2026 zeigten die Hugging-Face-Seiten 335 monatliche Downloads für Iris-mini und 685 für Iris-pro; Downloadzahlen sind Aktivitätssignale, keine Validierung.

Iris Search Agent: Häufige Fragen

Ist Iris ein Modell oder ein vollständiges Suchprodukt?

Iris ist eine Open-Weight-Modellfamilie samt Evaluierungs-Harness. Der Release umfasst weder eine gehostete Suchanwendung für Endnutzer noch eine verwaltete API.

Kann Iris lokal laufen?

Ja, doch „lokal“ bedeutet nicht automatisch laptop-tauglich. Das offizielle Beispiel für Iris-mini nutzt vierfachen Tensor Parallelism; Iris-pro ist für achtfachen Tensor- und achtfachen Expert Parallelism dokumentiert.

Was bedeutet 35B-A3B?

Iris-mini hat rund 35B Parameter insgesamt, von denen pro Inferenzschritt 3B aktiv sind. Die sparsame Aktivierung reduziert den Rechenaufwand gegenüber der Aktivierung aller Parameter, doch der vollständige Checkpoint beeinflusst weiterhin Speicherbedarf und Serving-Memory.

Ist Iris vollständig Open Source?

Die Checkpoints und das Harness sind unter permissiven Bedingungen öffentlich, doch das Repository führt die Pipelines zur Datenkonstruktion und zum Training weiterhin als kommende Veröffentlichung. „Open Weight mit offenem Evaluierungscode“ beschreibt den aktuellen Status am präzisesten.

Hat Iris eine API?

Die Modelle lassen sich mit SGLang oder vLLM hinter einem OpenAI-kompatiblen Endpunkt bereitstellen. Auf keiner der beiden Modellkarten ist ein gehosteter Hugging-Face-Inferenzanbieter oder eine offizielle verwaltete Iris-API aufgeführt.

Welches Iris-Modell sollte ich verwenden?

Für die Evaluierung ist Iris-mini die richtige Wahl, sofern nicht ein gemessener Workload die zusätzliche Benchmark-Leistung von Iris-pro verlangt und das Team bereits über passende Multi-Node- oder Large-Node-Infrastruktur verfügt.

Nächster Schritt: Mini mit festem Harness pilotieren

Iris-mini herunterladen, das offizielle Tool- und Parser-Protokoll beibehalten und eine kleine Menge an Fragen benchmarken, die dem vorgesehenen Workload ähnelt. Die Kontextstrategie vor dem Ergebnisvergleich festlegen, denn Änderungen an discard-all oder retry können den Score stärker verschieben als ein Modellwechsel.

Erst zu Iris-pro wechseln, wenn der Pilot eine Qualitätslücke zeigt, die seinen Bereitstellungsaufwand rechtfertigt. Der offene Zielkonflikt ist einfach: Iris bietet ungewöhnlich starke gemeldete Open-Weight-Suchleistung, doch reproduzierbare Trainingsdetails und belastbare Daten zu Produktionskosten fehlen bislang.