「teai/auto が頭悪い」という声を受け、自前ベンチ(182問×3回・機械採点)で全階層を見直しました。 MID を Flash → glm-5.2(実務97.8%)、真の難問と金額≥2,000円は Kimi K3 直行、 逆ザヤ防止のコストキャップを導入。glm-5.3 は全項目で 5.2 以下で不採用。 選定基準と、今後「自動ベンチ→採用」を回す仕組みも全部公開します。
結論から: 「頭悪い」の主因は、既定(MID)が DeepSeek V4 Flash(実務84.4%・法定値64.7%)だったことです。これを glm-5.2(97.8%)に替え、難問と金額の大きい設問だけ Kimi K3(99.6%)に上げる構成にしました。併せて「安いと思って投げたのに裏で高いモデル課金」されないよう、推定コストに上限(キャップ)を設けて逆ザヤを防ぎます。
自前ベンチ(日本の実務計算182問×3回)で各モデルの実力を測ると、ルーターの割り当てが実力とズレていることが分かりました。
| モデル | 実務計算 | 一般 | 難問 | 出力単価/1M |
|---|---|---|---|---|
| deepseek-v4-flash (旧MID) | 84.4% | 97.1% | 93.5% | $0.66 |
| deepseek-v4-pro (旧STRONG/MAX) | 89.7% | 98.3% | 98.9% | $1.98 |
| z-ai/glm-5.2 (新MID) | 97.8% | 99.2% | 100% | $0.97 |
| moonshotai/kimi-k3 (新MAX) | 99.6% | 99.6% | 95.7% | $15.00 |
| google/gemini-3.1-pro | 99.5% | 100% | 100% | $6.00 |
glm-5.2 は旧STRONG(Pro)より安くて速くて賢い。それなのに、旧ルーターは既定を Flash、STRONG/MAX を Pro に固定しており、glm-5.2 はどこにもいませんでした。これが「頭悪い」の正体です。
2026-08-19 に glm-5.3 がカタログ追加されたので、今回の見直しで最初にベンチしました。結果は全項目で glm-5.2 以下で、採用できませんでした。
| 評価セット | glm-5.3 | glm-5.2 | 判定 |
|---|---|---|---|
| jp-business (182問) | 89.0% | 97.8% | 5.2 圧勝 |
| general (119問) | 96.2% | 99.2% | 5.2 勝ち |
| hard (46問) | 97.8% | 100% | 5.2 勝ち |
特に記憶(法定値)が 58.8%(5.2 は 96.1%)と壊滅的で、新しいバージョンだからといって素直に上げるのは危険だと分かります。ベンチしてから採用する、を仕組みで回すことにしました(後述)。
ベンチで Flash が弱いのは、まさに金額に隣接する設問(計算(表参照)70.7%・記憶(法定値)64.7%)でした。そこで:
「安いと思って teai/auto に投げたのに、裏で Kimi K3 の課金が発生していた」という事態を防ぎます。
COST_CAP_USD)。x-teai-capped: <model> (cost_cap) ヘッダで「本当は上げたかったが値段で止めた」ことを開示します。旧来、品質検証(エスカレーション)は非ストリーミング応答にしかありませんでした。ストリーミング(実際の主要経路)では、低品質な回答がそのまま流れていました。v2 では、ストリーム完了後に同じ needs_escalation 判定を行い、NG なら上位モデルで再生成して訂正追記チャンクとして送信します。初回表示の速さはそのままに、間違いを後から正せます。
glm-5.3 のような「新しいが実力が下」なモデルを見逃さないため、定期ベンチを仕組み化しました。
bench/check_new_models.py が OpenRouter カタログと pricing.rs を突合し、未収載モデルを検出(週1 GitHub Actions)。bench/CRITERIA.md に明文化。現行モデル比 +2pt 以上・tool-calling 正常・コスト1.5倍以内を全て満たす場合のみ採用候補。ベンチは temperature=0・機械採点(exact match)で、厳格一致のため「数字のみで」という指示に反して説明文を付けた正解も不正解扱いになる既知の限界があります。また glm-5.3 の採測は今回1回の実行(876コール)で、実行ごとに±数ポイントのブレが乗ります。生データ・正解・設問はすべて /bench で公開しているので、誰でも検証できます。
teai/auto は teai.io の OpenAI/Anthropic 互換エンドポイントでそのまま指定できます。応答ヘッダに x-teai-auto-reason(なぜそのモデルを選んだか)、キャップ発動時は x-teai-capped が付きます。