Iris Search Agentレビュー：ProではなくMiniから始めるべき理由

Irisを評価するとき、注目すべき数字は88.6だけではない。Iris-miniでコンテキストの扱いを変えるだけでBrowseCompが17.5ポイント動く点のほうが、実運用でははるかに重要だ。まずはIris-miniと公式ハーネスで検証しよう。Iris-proを選ぶのは、すでにマルチノード推論基盤を運用しているチームでよい。

まず結論：Irisの選び方を一覧で確認

実践的な結論はシンプルだ。Iris Search Agentを試すなら、最初の候補はIris-miniになる。Iris-proの公表スコアは上だが、公式の起動例には大幅に多い並列インフラが必要になる。さらに、2026年9月14日時点で、どちらのチェックポイントにもHugging Faceのホスト型推論プロバイダーは用意されていない。

出典：公式のIris-miniモデルカード、Iris-proモデルカード、Irisリポジトリ。

ウェイト、モデルカード、評価コードのIris-Harnessはいずれも公開されている。一方、リポジトリにはデータ構築パイプラインと学習パイプラインが「coming soon」と記載されたままだ。現時点のIrisは、オープンな評価ハーネスを備えたオープンウェイトであり、学習レシピまで完全公開されたものではない。

ベンチマークの見出し数字は、ハーネスで変わる

Irisのベンチマークスコアを、チェックポイントだけの性能として読むことはできない。AllSpark自身も、公表値はエージェントとハーネスの組み合わせに属するものだと明示している。公式アブレーションの結果を見ると、その理由は明確だ。

公式のIris GitHub READMEでは、discard-allを、蓄積したコンテキストが閾値を超えた時点で元の質問へリセットする方式と定義している。retryは、パース可能な回答を得られずに終了したエピソードを再開する仕組みで、その際に除外済みの候補を短い要約として引き継ぐ。

Iris-miniでは、チェックポイントを変えずにdiscard-allを有効にするだけで、BrowseCompは64.7から82.2へ上がる。つまり17.5ポイントの差だ。Iris-proでも同じ比較で72.6から88.6へ、16ポイント伸びる。公式の会話フォーマット、リセット方針、検索ツール、回答パーサーのいずれかを省いた構成は、宣伝されているシステムを再現しているとは言えない。

モデル横断の主要比較表にも注意が必要だ。AllSparkによれば、ベースラインの数値は各プロジェクトの公開レポートから取られており、コンテキスト管理の設定はそれぞれ異なる可能性がある。Iris-miniは掲載されている同規模クラスの中でBrowseComp、BrowseComp-ZH、HLEをリードするが、DeepSearchQAではXYZ-Aquila-miniが89.5で、Iris-miniの86.9を上回る。Iris-proは掲載された約400B級システムに対して4列すべてで首位または同率首位だが、DeepSearchQAでのXYZ-Aquila-proとの差はわずか0.4ポイントである。

Iris-miniとIris-proは、性能より導入負荷で選ぶ

最初に試すチェックポイントとしてIris-miniが妥当なのは、アクティブパラメータ数が少なくても、モデル全体の保存容量やメモリ要件が消えるわけではないからだ。MoEルーターが各ステップで活性化するのは35B中およそ3Bパラメータだが、完全なチェックポイントは保存・サービングする必要がある。

公式のIris-mini起動コマンドは、4-way tensor parallelismと262,144トークンのコンテキストを使う。

python -m sglang.launch_server \
  --model-path AllSpark-Research/Iris-mini \
  --served-model-name Iris-mini \
  --port 21234 --tp-size 4 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

Iris-proのドキュメントにある構成は--tp-size 8 --ep-size 8だ。公式モデルカードでも、397Bのチェックポイントには複数ノードまたは大型の単一ノードが必要だとされている。これは小さな設定差ではなく、導入時の明確な注意事項と見るべきだ。

discard-all時の比較では、大きいモデルはminiに対してBrowseCompで6.4ポイント、DeepSearchQAで6.0ポイント高い。ただしBrowseComp-ZHでの差は0.3ポイントにとどまる。「proのほうが大きい」だけでインフラ負荷の跳ね上がりを受け入れるべきではない。評価するワークロードでその差が意味を持つかを確認したい。

どちらのモデルカードにも、計測済みのレイテンシー、スループット、VRAM使用量、運用コストは掲載されていない。この欠落がある以上、回答あたりのコストを責任を持って比較することはできない。パラメータ数から根拠のないGPU見積もりを作るのではなく、範囲を絞ったパイロットを実施するべきだ。

Irisを最初に再現評価する手順

最初のIris評価では、チャット補完エンドポイントに雑学を投げるのではなく、エージェント全体の経路を検証したい。公式ハーネスには、エージェントループ、検索・スクレイピングツール、コンテキスト戦略、ベンチマークアダプター、採点器が含まれている。

1. 公式パーサー付きでIris-miniを配信する。 上記のSGLangコマンドを使い、ポート21234のOpenAI互換エンドポイントに到達できることを確認する。
2. Iris-Harnessを導入する。 リポジトリでは環境作成にuvを使う。
3. ベンチマークデータを準備する。 独自にコピーを組み立てず、同梱の準備スクリプトを実行する。
4. 狭いベンチマーク範囲から始める。 公式例ではbrowsecomp:0:1を選び、discardの閾値を131,072トークンに設定している。
5. 設定一式を記録する。 モデルリビジョン、ツールバックエンド、閾値、パーサーのバージョン、retry方針を、すべての結果と一緒に残す。

git clone https://github.com/AllSpark-Research/Iris.git
cd Iris/Iris-Harness
uv sync
uv run python data/prepare_data.py

bash scripts/run_eval.sh \
  --base-url http://127.0.0.1:21234/v1 \
  --llm-config iris-mini \
  --benchmarks "browsecomp:0:1" \
  --context-discard-threshold 131072

IrisはOpenAIのfunction-callingインターフェースを使うよう学習されており、最終回答は\boxed{}で囲む。ハーネスは、それまでの推論内容も後続ターンへ引き継ぐ。これを汎用的なチャットテンプレートに置き換えると、通常のテキスト生成が問題なく見えても、ツール利用や採点が壊れる可能性がある。

パイロットでは、次の3点を受け入れ基準にするとよい。

• 回答品質： 最終的な対象を当てるだけでなく、必要な根拠まで取得できているか。
• 検索の効率： 受け入れた回答1件あたり、検索とスクレイピングの呼び出しを何回消費するか。
• リカバリー動作： コンテキスト破棄やエピソードの再試行時に、同じ失敗経路を繰り返さずに済むか。

公式リリースには本番向けSLAもホスト型エンドポイントもない。既知のハーネスでベンチマークを再現できたとしても、それは制約のないWebリサーチでの信頼性を証明するものではない。

公開済みのものと、完全再現を阻む未公開部分

現在のIrisリリースは充実している一方で、まだ完全ではない。開発者は承認ゲートなしで両方のチェックポイントをダウンロードでき、Apache 2.0の下で商用利用できる。ベンチマーク表の確認や、OpenAI互換エンドポイントに対するIris-Harnessの実行も可能だ。

論文では、ハイパーリンクグラフからマルチホップ質問を逆構成し、軌跡を実行全体と個別ターンの両方でフィルタリングし、教師ありファインチューニングとライブ検索による強化学習を交互に行う手法が説明されている。しかしリポジトリの公開状況を見る限り、外部チームが再現できるのはまず推論と評価であり、学習をエンドツーエンドで再現することはまだできない。

初期のコミュニティ議論も、この区別を反映している。あるテックニュースアカウントはリリースを次のように要約した。

「ウェイトと評価コードは公開済み。学習データとレシピは後日。」 — @Chinazhidx

この程度の確信度で捉えるのが適切だ。Irisは噂ではなく正式リリースだが、最も強い主張については、ハーネス設定を明示した外部実行による検証がなお必要になる。2026年9月14日に確認した時点で、Hugging FaceのページはIris-miniで月間335ダウンロード、Iris-proで685ダウンロードを示していた。ダウンロード数は利用活動のシグナルであって、性能の検証ではない。

Iris Search Agentのよくある質問

Irisはモデルですか、それとも完成した検索製品ですか？

Irisはオープンウェイトのモデルファミリーと評価ハーネスの組み合わせだ。ホスト型の一般消費者向け検索アプリケーションや、管理されたAPIはリリースに含まれていない。

Irisはローカルで動かせますか？

可能だ。ただし「ローカル」はノートPCで気軽に動くという意味ではない。公式のIris-mini例は4-way tensor parallelismを使用し、Iris-proは8-way tensor parallelismと8-way expert parallelism向けに記載されている。

35B-A3Bとは何を意味しますか？

Iris-miniは総パラメータ数がおよそ35Bで、推論ステップごとにアクティブになるパラメータは3Bである。疎な活性化により、全パラメータを有効にする場合より計算量は抑えられるが、完全なチェックポイントは保存容量とサービング時のメモリに影響する。

Irisは完全なオープンソースですか？

チェックポイントとハーネスは寛容な条件で公開されているが、リポジトリではデータ構築・学習パイプラインが今後公開予定とされている。「オープンな評価コードを備えたオープンウェイト」が、現時点で最も正確な説明だ。

IrisにはAPIがありますか？

SGLangまたはvLLMを使えば、モデルをOpenAI互換エンドポイントの背後で配信できる。どちらのモデルカードにも、ホスト型Hugging Face推論プロバイダーや公式の管理型Iris APIは記載されていない。

どちらのIrisモデルを使うべきですか？

計測したワークロードでIris-proの追加ベンチマーク性能が必要だと確認でき、かつチームに適切なマルチノードまたは大型ノードのインフラがある場合を除き、評価にはIris-miniを使うべきだ。

次にやること：ハーネスを固定してminiを試す

Iris-miniをダウンロードし、公式のツール・パーサープロトコルを維持したうえで、想定ワークロードに近い少数の質問をベンチマークしよう。モデルを比較する前にコンテキスト方針を固定することが重要だ。discard-allやretryを変えるだけで、モデル変更以上にスコアが動く可能性がある。

パイロットで、導入負荷に見合う品質差が確認できた場合にのみIris-proへ進めばよい。未解決のトレードオフは明快だ。Irisはオープンウェイトの検索性能として非常に強い数値を報告しているが、再現可能な学習詳細と本番コストの根拠は、まだ公開されていない。