単体では中位(95.4点・91.1点)の Grok 4.5 と TML Inkling を審議で束ねたら 99.3点。単体最強クラスの Sakana Fugu Ultra と同点、GPT-5.5 Pro(98.0)は上回った。これが teai.io のモデル shitate/orchestrator の正体です。研究元は Enabler の AI Lab Shitate LAB NOTES #4。14モデル・4,200測定・却下74件まですべて公開されています。
結論から3行: ①日本語で最も使われているモデル(DeepSeek V4 Flash)は14モデル中最下位(75.5点)だった。②Grok 4.5とTML Inklingを審議で束ねたら99.3点になり、単体最強クラスのSakana Fugu Ultra(99.3)に並んだ。③ただし「超えた」とは言えない。ペアワイズでは1勝1敗の完全な引き分けで、差は測定ノイズの範囲内。
最初に確認したのはオラクル上限——各設問でベストな1モデルを選べたとしたら何点か。答えは300問全問で少なくとも1モデルが正解していた(100.0)。Sakanaが落とした4問も、必ずどれかのモデルが取れていた。一方、単純な多数決の上限は99.0止まり。少数派だけが正しい設問を、多数決は殺してしまうからです。
構成は dev 148問だけで確定させ、test 152問は最終構成1回のみに使用(テストへの過学習を避けるため)。
| モデル/構成 | test精度(n=152) |
|---|---|
| ★ Shitate Orchestrator(cheap = Grok 4.5 + TML Inkling → Gemini 3.1 Pro審議) | 99.3 |
| Sakana Fugu Ultra(単体最強クラス・オーケストレーション系) | 99.3 |
| Shitate Orchestrator(solid = 3候補審議) | 99.0 |
| GPT-5.5 Pro(単体) | 98.0 |
| Claude Fable 5(単体) | 97.4 |
| Grok 4.5(単体) | 95.4 |
| Gemini 3.1 Pro(単体) | 92.1 |
| TML Inkling(単体) | 91.1 |
単体では95.4点・91.1点の2モデルが、審議で束ねると99.3点。GPT-5.5 Proを上回った。
| 構成 | 精度 | コスト/問 | 対Sakana |
|---|---|---|---|
| Sakana Fugu Ultra | 99.3 | 0.57¢ | — |
| Shitate cheap(審議=Gemini) | 99.3 | 0.45¢ | 21%安い |
| Shitate cheap(審議=DeepSeek V4 Flash・dev推定) | 99.0 | 0.21¢ | 2.7倍安い |
| Shitate solid | 99.0 | 1.85¢ | 3.2倍高い |
| GPT-5.5 Pro単体 | 98.0 | 3.46¢ | 6倍高い |
定型的な日本語業務(見積・請求・稟議・問い合わせ返信)を大量に回すほど効く。100万件あたりShitate cheapは$2,100、GPT-5.5 Pro単体なら$34,600という試算です。少量利用や低レイテンシが必須の用途には向きません(候補生成が並列でも律速35.2秒+審議)。
shitate/orchestrator は teai/auto のエスカレーション最終段としても、単体モデルとしても呼び出せます。モードはサフィックスで指定します。
te CLI からも同じカタログをそのまま叩けます。
数字はすべてShitate LAB NOTES #4からの引用で、生ログ・採点コード・判定プロンプト・却下74件・dev/test分割のシードまで shitate.ai で全公開されています。公開300問は一般的な日本の職場を想定したものなので、業界・社内文書によって成績は変わります。国産の単体LLM(Sarashina / PLaMo / Swallow / ELYZA / Rakuten AI / tsuzumi)は本稿の時点で未測定です。