ベンチマーク

「最強3体を束ねる」は負けた。
「強い2体」が単体最強に並んだ。

teai.ioに新しく teai/max というモデルを作った。最初の案は「各社の実質最上位を1本ずつ3体束ねる」だった — Claude Opus 5・GPT-5.5 Pro・Gemini 3.1 Pro。結果は99.0点。単体最強クラスのSakana Fugu Ultra(99.3)にも、既存の安いモデル2体構成(99.3)にも届かなかった。候補を2体に絞り直し、Sakana Fugu UltraとGrok 4.5という組み合わせを審議で束ねたら99.3点で単体最強に並んだ。負けた構成も含めて、設計プロセスを全部公開する。

公開 2026-08-17
データ元 SHITATE-JP v1(shitate.ai・n=152、自社実測)
関連 shitate/orchestrator(既存モデル)の記事

結論から3行: ①「各社の最上位モデルを3体束ねる」は直感的には最強に見えるが、実測では単体最強に届かなかった(99.0)。②候補を2体(Sakana Fugu Ultra + Grok 4.5)に絞ったら、単体最強Sakana Fugu Ultra(99.3)に並んだ。③弱い方の候補(Grok 4.5・単体95.4)を混ぜても、審議者が正しく選別すれば足を引っ張らない。

v1: 各社最上位を3体束ねる(不採用)

最初の設計は素直な発想だった。teai.ioのカタログでベンダー別に最も高い(=最も強いはずの)モデルを1本ずつ選ぶ: Anthropic Claude Opus 5・OpenAI GPT-5.5 Pro・Google Gemini 3.1 Pro。審議者には候補に含めない別の最上位モデル(Claude Fable 5)を立てた。SHITATE-JP v1のtest半分(n=152)で実測した結果:

構成test精度(n=152)
Sakana Fugu Ultra(単体最強クラス)99.3
teai/max v1(Opus 5 + GPT-5.5 Pro + Gemini 3.1 Pro、3候補審議)99.0
GPT-5.5 Pro(単体)98.0
Claude Fable 5(単体)97.4
不採用の理由 3候補審議は既存モデルshitate/orchestratorの知見(3候補solidモードが2候補cheapモードに負ける・99.0 vs 99.3)と同じ壁にぶつかった。候補が多いほど良いわけではない。「各社最上位」という前提だけでは、この壁を越えられなかった。平均82.0秒/問・候補の中で最も高いGPT-5.5 Pro($30/$180)を含む構成で、コストも精度も割に合わなかった。

v2: 候補ペアの予選→決勝(採用)

「候補数より毛色の違いが効く」という仮説を検証するため、まずdev半分(test半分は汚染回避のため未参照)から小サンプル(21問)で候補ペアの予選を行った。審判はClaude Fable 5に固定。

候補ペア(予選・n=21)精度
Sakana Fugu Ultra + Grok 4.5100.0
Sakana Fugu Ultra + TML Inkling97.6
GPT-5.5 Pro + TML Inkling97.6

予選21問というサンプルサイズなので、この差自体は測定ノイズの範囲内。ただし最も有望な1組を選ぶには十分な信号だった。

勝者「Sakana Fugu Ultra + Grok 4.5」をtest半分152問フルで決勝測定した結果:

構成test精度(n=152)
★ teai/max v2(Sakana Fugu Ultra + Grok 4.5、審議=Claude Fable 5)99.3
Sakana Fugu Ultra(単体最強クラス)99.3
GPT-5.5 Pro(単体)98.0
Claude Fable 5(単体)97.4
Grok 4.5(単体)95.4
teai/max v1(3候補・不採用)99.0
正直な注記 「Sakanaを超えた」とは書けません。並んだだけです。152問では1問=0.66pt相当なので、この差は測定ノイズの範囲内です。ただし、単体では95.4点しかないGrok 4.5を混ぜても精度が落ちなかった、という点は実務上の意味があります。

v3: モデルを最新化して再探索(採用)

v2の運用後、「単体最強Sakana Fugu Ultraを超える組み合わせはまだないか」を確認するため、カタログの単体スコア上位からまだ試していない候補ペアを総当たり的に洗い直した。その過程で「使っているモデルは最新版か」という指摘を受け、v2測定時点のGrok 4.5・GPT-5.5 Proを、より新しいGrok 4.6(8/6リリース)・GPT-5.6 Sol(現行トップ級)に差し替えて測定し直した。dev半分21問の予選(審判はv1/v2と同じClaude Fable 5固定):

候補ペア(予選・n=21)精度
Grok 4.6 + Gemini 3.1 Pro97.6
GPT-5.6 Sol + Kimi K397.6
Sakana Fugu Ultra + Grok 4.6(v2をGrok 4.6に更新して再測定)92.9
興味深い逆転 v2の組み合わせ(Sakana Fugu Ultra + Grok系)は、Grok 4.5では予選100.0だったが、Grok 4.6に変えただけで92.9まで落ちた。新しいモデルが必ずしも上位互換とは限らない。ただし予選21問は1問=約4.8pt動く粗い測定なので、この一点だけで断定はできない。

予選上位2組をtest半分152問フルで決勝測定した結果:

構成test精度(n=152)平均秒/問
★ teai/max v3(Grok 4.6 + Gemini 3.1 Pro、審議=Claude Fable 5)99.345.9
Sakana Fugu Ultra(単体最強クラス)99.3—
teai/max v2(Sakana Fugu Ultra + Grok 4.5・旧採用)99.363.6
GPT-5.6 Sol + Kimi K3(同点・不採用)99.3101.9
正直な注記 ここでも「Sakanaを超えた」とは書けません。単体最強・v2と同じ99.3で並んだだけです。ただし、v3はSakana(候補単価$5/$30・非公開の内部オーケストレーション系)を一切使わずに同じ天井に届いた上、v2実測(63.6秒/問)より28%速い(45.9秒/問)。同点だったGPT-5.6 Sol + Kimi K3は101.9秒/問と遅く、不採用にした。

意外な発見

teai.ioで試すには

curl https://api.teai.io/v1/chat/completions \ -H "Authorization: Bearer $YOUR_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "teai/max", "messages": [{"role":"user","content":"取引先への納期延期のお願いを社外向け敬語で"}] }'

te CLI からも同じ呼び出しができる。

te max run "取引先への納期延期のお願いを社外向け敬語で"

この記事の限界と、これからの更新方針

数字はすべて自社実測(SHITATE-JP v1・n=152・固定seed)で、生ログ・判定プロンプトはShitate LAB NOTESと同じ手法・同じ判定モデルを使用している。公開300問は一般的な日本の職場を想定したものなので、業界・社内文書によって成績は変わる。

teai/maxの候補構成は固定ではない。新しい強モデルが登場するたびに、同じ予選→決勝のプロセスで再評価し、勝てば入れ替える。過去に試した構成(採用したものも、しなかったものも)はすべて履歴として残し、この記事も更新していく。

追記(2026-08-17) 公開後、「審判役のClaude Fable 5を候補にも入れたらどうか」という指摘を受けて検証した。候補に入れる以上、審判はFable自身にはできない(自己選好バイアス回避)ため審判をGPT-5.5 Proに変え、公平な比較のためv2(Sakana Fugu Ultra + Grok 4.5)も同じ審判で予選(dev半分21問サンプル)を回し直した。結果: v2構成 97.6点 に対し、Sakana Fugu Ultra + Fable 5 は88.1点、Grok 4.5 + Fable 5 も88.1点。Fable 5を候補に入れると明確に悪化したため見送り、v2のまま据え置いた。Fable 5は「単体では強いが、審議相手・候補としては自己選好バイアス等で相性が悪い」という元研究の知見どおり、審判役に専念させるのが正解という結論。

teai.ioを無料で試す

クレジットカード不要・クーポン「WELCOME」で100クレジット。モデル名に teai/max と書くだけです。

無料で始める 他の記事を見る