ベンチマーク
「安いモデルで答えて、
間違いが確定したときだけ上げる」
teai.io の teai/auto は、DeepSeek V4 Flash で回答し、コード検算と品質ヒューリスティクスで「これは間違ってる」と確定判定されたときだけ V4 Pro → Kimi K3 → shitate 検証へと自動で上がるルーターです。V4 Pro 比でコスト約70%削減、正答率の差は3ポイント以内。設計の全容を実測データつきで公開します。
結論から: 全モデルを常に最強にするのはコストが高すぎ、常に最安にすると精度が落ちる。正解は「安いモデルで答えて、答えが正しいことを機械的に検証できるときはそのまま、検証で否定されたときだけ上げる」。teai/auto はこれを決定的な信号だけで実装し、V4 Pro の正答率 89.7% に対して 86.3%、コストは $0.0379 → $0.0155(約59%削減) という実測になりました。これは「全部V4 Pro」の半分以下のコストで、Flash 単体(84.4%)より 2 ポイント近く正答率が高い位置です。
背景: なぜ「自己申告」ではダメだったか
最初に試したのは「安いモデルに『自信ありますか?』と聞いて、���信がないときだけ上げる」方式。しかし自社実測で、これはほとんど発火しないことが分かりました。落とす設問58問のうち、自己申告でエスカレーションが発火したのは2件(3%)だけ。
労基法の付与日数表のような固有値を、モデルはほぼ全問「自信あり」と申告して間違えます。モデルは自分が知らないことを判定できない。ここは原理的に直らないので、自己申告は捨てました。
学び1 「自信がありますか?」は機能しない。モデルが知らないことを、モデル自身は検出できない。
代わりに何を使ったか — 決定的な3つの信号
自己申告を捨てた代わりに、答えの正しさを機械的に判定できる3つのチェックを実装しました。どれも「モデルの気分」ではなく、プログラムとして決定します。
- コード検算 (verifier) — 数値・日付・送料・営業日など、計算で答えが出る設問は、設問文から正解をコードで再計算する。モデルの答えが正解と一致すれば「Confirmed」で即採用、食い違えば「Rejected」で即エスカレーション。機械採点と同じ仕組みをオンラインで流用したものです。
- 構造化チェック — JSON を要求されたのにパースできない、コードブロックが閉じていない、といった形の破綻を検出。
- ルールベース品質チェック — 「申し訳ありません、わかりません」「I don't know」などの回避表現、空回答に等しい異常な短さ、max_tokens を食い切った尻切れを検出。
学び2 有効なのは自己申告ではなく、機械検算・構造チェック・回避表現検出のような「決定的な信号」。これらは発火条件が明確で、必要なところで上がり、不要なところで上がらない。
エスカレーションのチェーン
発火したら、次の階層へ。V4 Pro の答えがまだ低品質なら、さらに Kimi K3 へ。そして最終段は shitate/orchestrator:verify — 複数モデルの束ね合わせによる検証です。どの段でも品質チェックに通ればそこで確定します。
teai/auto のエスカレーションチェーン
┌─────────────────────────────────────────────┐
│ V4 Flash ──品質OK──► そのまま返す │
│ │ │
│ 品質NG(検算Rejected等) │
│ ▼ │
│ V4 Pro ──品質OK──► そのまま返す │
│ │ │
│ 品質NG │
│ ▼ │
│ Kimi K3 ──品質OK──► そのまま返す │
│ │ │
│ 品質NG │
│ ▼ │
│ shitate/orchestrator:verify │
│ = V4 Flash下書き + Sonnet 5検証 │
│ = ここで最終確定 │
└─────────────────────────────────────────────┘
実際のリクエスト3例 — 何が来て、どう振り分けられたか
本番の api.teai.io にこの記事を書く直前に実際に投げて確認したものです。x-teai-auto-reason と x-teai-route はそのまま本番のレスポンスヘッダー、fallback_depth が0より大きい=実際にエスカレーションが発火した回です。
例1. 短い計算問題 → Flashでそのまま確定
curl https://api.teai.io/v1/chat/completions \
-d '{"model":"teai/auto","messages":[{"role":"user",
"content":"請求書に税抜1,980円。消費税10%の税込は?"}]}'
x-teai-auto-reason: cheap_short
x-teai-route: served=deepseek/deepseek-v4-flash; fallback_depth=0
→ 「税込金額は 2,178円 です。（計算式：1,980円 × 1.10 = 2,178円）」
例2. 固有知識の設問 → Flashで一旦答えるが検算で否定され、V4 Proへ1段エスカレーション
curl https://api.teai.io/v1/chat/completions \
-d '{"model":"teai/auto","messages":[{"role":"user",
"content":"労働基準法上、入社から6年6ヶ月継続勤務(全労働日の8割以上出勤)
した従業員に付与される年次有給休暇日数は何日?"}]}'
x-teai-auto-reason: knowledge
x-teai-route: served=deepseek/deepseek-v4-pro; fallback_depth=1 ← エスカレーション発火
→ 「...年次有給休暇は 20日 です。
（6か月:10日→1年6か月:11日→2年6か月:12日→3年6か月:14日
→4年6か月:16日→5年6か月:18日→6年6か月:20日）」
例3. コーディング依頼 → Flashで即確定
curl https://api.teai.io/v1/chat/completions \
-d '{"model":"teai/auto","messages":[{"role":"user",
"content":"Pythonでリストから重複を除いて順序を保ったまま返す関数を書いて"}]}'
x-teai-auto-reason: cheap_short
x-teai-route: served=deepseek/deepseek-v4-flash; fallback_depth=0
→ def remove_duplicates(lst):
return list(dict.fromkeys(lst))
読み方 例1・3はcheap_short(短く機械検算/形式チェックで確定可能)と判定されてFlashのまま。
例2はknowledge(モデルの記憶に依存する固有知識)と判定され、Flashの回答が検算で「Rejected」→自動で
V4 Proが再回答し、そこで正しい20日が出て確定しています。これが本文で説明した「答えの正しさを機械的に判定できる
ときだけ上げる」の、実際に本番で起きている姿です。
実測データ — V4 Flash / V4 Pro / teai/auto
正答率・コスト・p90レイテンシ。teai/auto はエスカレーション比率を実測から推定して合成した値です。
日本の実務計算 (182問)
| モデル | 正答率 | コスト | p90 | V4 Pro比コスト |
|---|
| V4 Flash | 84.4% | $0.0022 | 1.5s | 6% |
| teai/auto | 86.3% | $0.0155 | 5.6s | 41% |
| V4 Pro | 89.7% | $0.0379 | 11.5s | 100% |
teai/auto は V4 Pro のコスト 41% で、正答率は 3.4 ポイント差。Flash 単体より +1.9pt。
指示追従・多段推論・コード・長文 (119問)
| モデル | 正答率 | コスト | p90 | V4 Pro比コスト |
|---|
| V4 Flash | 97.1% | $0.0145 | 2.5s | 18% |
| teai/auto | 97.8% | $0.0206 | 3.7s | 25% |
| V4 Pro | 98.3% | $0.0820 | 15.7s | 100% |
差はわずか 0.5 ポイント。この種別では V4 Pro に上げる意味がほとんどない、という実測でもあります。
難問セット (46問)
| モデル | 正答率 | コスト | p90 | V4 Pro比コスト |
|---|
| V4 Flash | 93.5% | $0.0227 | 8.4s | 19% |
| teai/auto | 96.2% | $0.0524 | 12.2s | 44% |
| V4 Pro | 98.9% | $0.1188 | 15.2s | 100% |
難問ほどエスカレーションが効く。Flash 93.5% → auto 96.2% と 2.7 ポイント回復。
なぜこれが「いい」のか
モデル単体の性能比較が意味を持つのは、あなたが常にその1モデルしか使わないという特殊な状況だけです。実際の利用は、コストとレイテンシと正答率のトレードオフです。teai/auto はこの三角形を「できるだけ安く、遅くなく、正確に」に寄せます。
- コスト — ほとんどのリクエストは Flash で済むので、V4 Pro 常時より 59〜75% 安い。
- レイテンシ — Flash は速い(1.5〜8.4s)。エスカレーションが起きても、そのときだけ Pro の時間が足される。
- 正確性 — 間違いが機械的に確定したときだけ上げるので、黙って間違えた回答を減らせる。検算で Rejected なら次のモデルが再回答する。
この数字の限界
合成値であることを隠しません。teai/auto の実測はまだなく、V4 Flash と V4 Pro の実測値からエスカレーション比率(計算・表参照50% / 記憶80% など)を推定して組み合わせたものです。実データが溜まったら更新します。生データは /bench で公開しています。
正直な注記 エスカレーション比率は推定。実測は今後の運用データで埋める。生データ・正解・設問はすべて公開しているので、誰でも検証できます。
試すには
teai/auto は teai.io の OpenAI/Anthropic 互換エンドポイントでそのまま指定できます。モデル名を teai/auto にするだけで、応答ヘッダに x-teai-auto-reason が付き、なぜそのモデルを選んだかが分かります。
curl https://api.teai.io/v1/chat/completions \
-H "Authorization: Bearer $YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "teai/auto",
"messages": [{"role":"user","content":"請求書に税抜1,980円。消費税10%の税込は?"}]
}'
# 応答ヘッダ例
# x-teai-auto-reason: cheap_short (短い質問 → V4 Flash)
# x-teai-escalated: ... (エスカレーションが起きた場合の経路)
teai.ioを無料で試す
クレジットカード不要・クーポン「WELCOME」で100クレジット。モデル名に teai/auto と書くだけです。
無料で始める
他の記事を見る