実測データ全公開
解説記事で使った数字の元データです。 都合の悪い結果、外した仮説、自社ベンチマークの欠陥も全部そのまま載せています。 数字を疑えるように、条件（設問数・反復回数・振れ幅）を必ず添えました。
01評価セットの作り方
正解を手で書かないための設計
182問。正解はすべてコードで計算しています。手で書いた正解は、書いた人の知識の上限で頭打ちになるからです。
| タスク型 | 問数 | 中身 | 正解の作り方 |
|---|---|---|---|
| 計算 | 94 | 消費税・源泉徴収・面積換算・割増賃金・暦日/営業日 | Decimal で計算 |
| 計算(表参照) | 41 | 祝日込み営業日・送料表・法定表を設問中に掲載 | 同上（表も生成） |
| 知識(仕様) | 30 | Python評価・SQL・正規表現の挙動 | 実際に実行 |
| 記憶(法定値) | 17 | 労基法39条の付与日数・割増率・法定労働時間 | e-Gov 条文から抽出して照合 |
うち17問は「根拠の表あり／なし」のペアになっています（→ 04）。全問を別実装で再検算し、不一致0件を確認済み。
02タスク型別
182問 × 8戦略 × 3回 ・ コストは3回分の総額
| 戦略 | 知識 (仕様) | 計算 | 計算 (表参照) | 記憶 (法定値) | 総合 | コスト |
|---|---|---|---|---|---|---|
| max_sc5 | 100.0 | 98.2 | 100.0 | 100.0 | 99.6 | $14.15 |
| verify_fix | 100.0 | 97.9 | 100.0 | 100.0 | 99.5 | $1.04 |
| single:gpt56 | 100.0 | 97.9 | 100.0 | 100.0 | 99.5 | $0.83 |
| routed | 95.6 | 97.9 | 99.2 | 100.0 | 98.2 | $0.74 |
| single:sonnet5 | 100.0 | 95.0 | 100.0 | 90.2 | 96.3 | $0.95 |
| single:flash | 97.8 | 95.4 | 87.0 | 80.4 | 90.1 | $0.014 |
| cascade_knowledge | 96.7 | 94.3 | 65.9 | 66.7 | 80.9 | $0.031 |
| cascade | 96.7 | 92.6 | 68.3 | 62.7 | 80.1 | $0.038 |
この時点では cascade（自己申告カスケード）が表参照と記憶で崩れています。原因は 03 と 05。
なお single:gpt56 が verify_fix と同点で安い、という結果は「束ねる意味があるのか」という問いを突きつけます。
03エスカレーションは発火していたか
182問 ・ 「上げる」と判定した割合
安いモデルが落とす58問で数えると、自己申告のエスカレーションは 2/58 = 3% しか発火していませんでした。
安いモデル素で 39/58 67.2% 安いモデル+自己申告 38/58 65.5% エスカレーション最終 38/58 65.5% ← 何もしていないのと同じ
判定させる対象を「自分の答えは正しいか」から「この質問は暗記知識を要求するか」に変えると、こうなります。
| タスク型 | n | 質問分類で上げる | 自己申告で上げる |
|---|---|---|---|
| 記憶(法定値) | 17 | 94% | 0% |
| 計算 | 94 | 0% | 4% |
| 計算(表参照) | 41 | 41% | 0% |
| 知識(仕様) | 30 | 33% | 0% |
必要なところで上がり、純粋な計算では一度も上がりません。表参照・仕様で上がるのは過剰で、コストが増えるだけ（精度は落ちない）。この指標は正答率ではなく判定の発火率なので、10 の揺れの影響を受けません。
04根拠を渡すとどうなるか
同じ問いを「根拠の表あり／なし」でペアにした対照実験 ・ 各51問
| 戦略 | 表なし（記憶） | 表あり（読解） | 差 |
|---|---|---|---|
| cascade | 62.7 | 100.0 | +37.3 |
| cascade_knowledge | 66.7 | 100.0 | +33.3 |
| single:flash | 80.4 | 100.0 | +19.6 |
| single:sonnet5 | 90.2 | 100.0 | +9.8 |
| single:gpt56 | 100.0 | 100.0 | ±0 |
| routed | 100.0 | 100.0 | ±0 |
| verify_fix | 100.0 | 100.0 | ±0 |
| max_sc5（$8.24） | 100.0 | 100.0 | ±0 |
51問中51問、例外なく100%。 $8.24 かけて5本振って得られる100%を、$0.014 のモデルが出します。
ただし本物の条文では届きません
上の表は整形済みです。e-Gov 法令API から原文のまま注入して測り直しました。
| 設問 | n | 条文なし | 条文あり（原文） |
|---|---|---|---|
| 年次有給休暇 | 21 | 14.3 | 71.4 |
| 法定労働時間 | 18 | 100.0 | 100.0 |
| 割増率 | 12 | 100.0 | 91.7 |
第三十九条 …十労働日の有給休暇を与えなければならない。 継続勤務年数一年ごとに、前項の日数に、次の表の…労働日を加算した… 一年 → 一労働日 ／ 二年 → 二労働日 ／ …
法定表は総日数ではなく加算日数を漢数字で書いています。だから整形済みの表（100%）に負けます。 割増率が悪化したのは、労基法37条が「二割五分以上五割以下の範囲内でそれぞれ政令で定める率」としか書いておらず、答えが条文に無いためです。間違った文書を渡すと逆効果になります。
05表の渡し方 5案
祝日込みの営業日計算 12問 × 3回 ・ 安いモデル(DeepSeek V4 Flash)
| 表の渡し方 | 正答率 |
|---|---|
| A 現行（祝日17件を並べて渡す） | 0.0% |
| B 関係する祝日だけに絞る | 8.3% |
| C 祝日に曜日を付ける | 0.0% |
| D 1日ずつ列挙させる | 100.0% |
| E カレンダーを作って渡す | 100.0% |
表を絞っても曜日を付けても効かず、列挙させることだけが効きました。 安いモデルは表を使えないのではなく、一発で数えようとして落としていた。
06決定性 — 同じ間違いをする
18問 × 12回 ・ temperature 0
| 設問 | 答えの種類 | 多数派 | 正答 |
|---|---|---|---|
| 税込計算（6問すべて） | 1 | 100% | 12/12 |
| 営業日計算・祝日あり | 1 | 100% | 0/12 |
| 年次有給休暇 | 1 | 100% | 0/12 |
決定的な設問は 13/18（72%）。安いモデルはランダムに間違えているのではありません。確信を持って、一貫して、同じ間違いをします。
これは対策の選択を変えます
同じモデルを複数回振って多数決を取る方式は、この失敗には一切効きません。 12回振っても12回同じ誤答が返るだけです。「安いモデルを何度か振って一致したら採用」は ランダムな取りこぼしには効きますが、体系的な誤りには無力で、安いモデルの失敗の多くは後者でした。
07上げ先モデルの総当たり
記憶(法定値)設問のみ ・ 17問 × 11モデル × 5回 = 935コール
| モデル | 正答 | 正答率 | 935コールの総額 | カタログ単価 |
|---|---|---|---|---|
| claude-fable-5 | 85/85 | 100.0% | $0.160 | $10 / $50 |
| google/gemini-3.1-pro | 85/85 | 100.0% | $0.169 | $1 / $6 |
| openai/gpt-5.6-sol | 81/85 | 95.3% | $0.070 | $2.50 / $15 |
| moonshotai/kimi-k3 | 81/85 | 95.3% | $0.147 | $3 / $15 |
| x-ai/grok-4.5 | 80/85 | 94.1% | $0.156 | $2 / $6 |
| claude-sonnet-5 | 79/85 | 92.9% | $0.038 | $3 / $15 |
| z-ai/glm-5.2 | 78/85 | 91.8% | $0.051 | $0.91 / $2.85 |
| deepseek/deepseek-v4-pro | 77/85 | 90.6% | $0.023 | $0.43 / $0.87 |
| sakana/fugu-ultra | 76/85 | 89.4% | $2.820 | $5 / $30 |
| deepseek-v4-flash | 58/85 | 68.2% | $0.001 | $0.09 / $0.18 |
| qwen/qwen3.5-397b | 40/85 | 47.1% | $0.004 | $0.39 / $2.34 |
Qwen3.5 の 47.1% は「日本の法令固有値には使えない」という意味です。一般的なベンチマークの順位と、この種の設問の順位は一致しません。 Fable 5 と Gemini 3.1 Pro が同率100%で、単価が1/10の Gemini を採用しました。
08コストを積んだらどうなるか
99問 × 8戦略 × 3回
| 戦略 | 経理 税務 | 人事 労務 | 法務 契約 | EC 物流 | 不動産 建築 | ソフト 開発 | 総合 | コスト |
|---|---|---|---|---|---|---|---|---|
| max_sc5 | 95.7 | 95.2 | 100 | 100 | 100 | 100 | 98.5 | $8.24 |
| max_fugu_verify | 95.7 | 92.9 | 100 | 100 | 100 | 100 | 98.1 | $8.30 |
| max_cross | 95.7 | 92.9 | 100 | 100 | 100 | 100 | 98.1 | $10.61 |
| routed | 95.7 | 92.9 | 97.6 | 100 | 100 | 100 | 97.7 | $0.46 |
| max_panel | 91.3 | 92.9 | 100 | 100 | 100 | 100 | 97.4 | $10.67 |
| single:gpt56 | 95.7 | 92.9 | 92.9 | 100 | 100 | 93.3 | 95.8 | $0.47 |
| cascade_knowledge | 98.6 | 52.4 | 97.6 | 87.0 | 100 | 100 | 89.3 | $0.0097 |
| cascade | 94.2 | 50.0 | 92.9 | 83.3 | 95.6 | 100 | 86.0 | $0.017 |
金を積めば買えます（人事・労務 50.0% → 95.2%）。ただし routed が 1/18 のコストでほぼ並ぶので、5本合議は割に合いません。
なお routed は正規表現がこの設問の文言に一致している疑いがあり、そのまま推せません（→ 12）。
09業界別
99問 × 10戦略 × 3回 ・ ±は反復間の振れ幅
| 戦略 | 経理税務 | 人事労務 | 法務契約 | EC物流 | 不動産 | ソフト | 総合 | コスト |
|---|---|---|---|---|---|---|---|---|
| verify_fix | 95.7 | 90.5 | 100 | 100 | 100 | 100 | 97.7 | $0.68 |
| routed | 95.7 | 92.9 | 97.6 | 100 | 100 | 100 | 97.7 | $0.45 |
| single:gpt56 | 95.7 | 92.9 | 95.2 | 100 | 100 | 93.3 | 96.2 | $0.48 |
| single:sonnet5 | 95.7 | 90.5 | 95.2 | 100 | 93.3 | 100 | 95.8 | $0.53 |
| single:fugu | 91.3 | 83.3 | 97.6 | 92.6 | 100 | 100 | 94.1 | $6.16 |
| single:flash | 94.2 | 64.3 | 92.9 | 85.2 | 97.8 | 100 | 89.1 | $0.005 |
| self_consistency | 91.3 | 76.2 | 76.2 | 92.6 | 95.6 | 100 | 88.6 | $0.16 |
| cascade_2stage | 91.3 | 50.0 | 95.2 | 85.2 | 95.6 | 100 | 86.2 | $0.005 |
| cascade | 89.9 | 50.0 | 90.5 | 83.3 | 95.6 | 100 | 84.9 | $0.005 |
| cascade_verify | 94.2 | 50.0 | 81.0 | 83.3 | 88.9 | 100 | 82.9 | $0.009 |
この表の読み方には落とし穴があります
「業界の差」の正体はタスク型の差でした。 記憶(法定値)の設問は全99問中、人事・労務の7問だけ。cascade の人事・労務が ちょうど 50.0%・振れ幅ゼロだったのは、14問中7問が記憶設問だったからです。 また業界とタスク型が1:1で交絡しており、統計的に分離できません。 セルあたり n=14〜23 では、10ptの差を検出するのに必要な n=137 に遠く届きません。 この表から「この業界にはこの戦略」とは言えません。 ソフトウェア開発が9/10戦略で100%なのは、設問が簡単すぎて識別力がないという意味です。
10測定の揺れ
主張できなかったこと
同一82問・同一戦略を3回まわした結果です。
| 戦略 | 正答数（3回） | 平均 | 幅 | コスト |
|---|---|---|---|---|
| single:fugu | 70, 72, 72 | 87.0% | 2問 | $6.22 |
| cascade | 68, 69, 73 | 85.4% | 5問 | $0.079 |
| single:sonnet5 | 69, 72, 67 | 84.6% | 5問 | $0.53 |
| cascade_2stage | 66, 69, 72 | 84.1% | 6問 | $0.025 |
| single:flash | 67, 68, 68 | 82.5% | 1問 | $0.009 |
±6問振れます。この幅を超えない差は「強い/弱い」と言えません。
さらに悪いことに、同一58問・同一モデル・temperature 0 で3回測ったときはこうでした。
1回目 67.2% 2回目 93.1% 3回目 82.8%
n=58 の二項標準誤差は約5ポイント。空応答もAPIエラーも0件。 原因を突き止めるため「どのモデルがどの上流に流れたか」を記録するAPIを足し、 経路で層化して測り直しました。
| 10回まわした正答率 | 幅 | 経路の数 |
|---|---|---|
| 65.5 / 65.5 / 69.0 / 65.5 / 65.5 / 67.2 / 69.0 / 65.5 / 67.2 / 65.5 | 3.4pt | 571/580 が同一経路 |
再現しませんでした。経路も1つしか観測されず、経路では説明できません。 最も妥当な解釈は「当時修正中だったバグ群（Gemini直の404連鎖・OOM再起動・並列時の認証降格）による環境要因」ですが、 当時の93.1%という高い値は依然として説明できていません。「原因を特定した」とは言えず、「現在は安定している」までです。
11本番実装での検証
182問 × 2回 ・ ラボの再実装ではなく、本番の shitate/orchestrator そのもの
| 戦略 | 知識(仕様) | 計算 | 計算(表参照) | 記憶(法定値) | 総合 | 利用者負担 |
|---|---|---|---|---|---|---|
| google/gemini-3.1-pro 単体 | 100.0 | 98.9 | 100.0 | 100.0 | 99.7 | $0.700 |
| shitate/orchestrator（本番） | 100.0 | 100.0 | 96.3 | 100.0 | 99.1 | $0.579 |
| claude-sonnet-5 単体 | 81.7 | 96.8 | 97.6 | 88.2 | 91.1 | $0.549 |
| deepseek-v4-flash 単体 | 96.7 | 95.2 | 80.5 | 76.5 | 87.2 | $0.008 |
精度はラボの再実装と誤差内で一致しました（実装のズレなし）。問題は値付けのほうでした。 上げ先モデル単体（$0.700）に対し、束ねても $0.579 で17%しか安くない。これでは束ねる意味がありません。 原因は「全リクエストが上げ先に回る最悪ケース」で固定単価を決めていたこと（実際の上げ率は23%）。 実際に呼んだモデルごとの実費で課金する方式に変え、単価も $3/$9 → $0.27/$1.33 に下げました。
12自社ベンチマークの欠陥 2件
どちらも「知識のあるモデルを罰していた」
設問: 報酬1,234,567円に税率10.21%で源泉徴収 こちらの正解: 126,049 実際の制度 : 100万円超の部分は20.42% → 149,998
設問: 時給1450円 × 9時間 × 割増率25%（端数処理の指定なし）
こちらの正解: 16,312（16312.5 を単純に切り捨て）
強いモデル : 16,317
「時間外単価 1450×1.25 = 1812.5 → 50銭以上切上げで1,813円
（昭和63.3.14 基発150号）、1,813×9 = 16,317」
2件目は「$14の高コスト戦略が$0.014の最安モデルに負ける」という逆転として現れました。 色めき立って中身を見たら、負けていたのはこちらでした。
他に取り下げた主張
:verifyが費用対効果の最適点 — 公開後に検証したところ、下書きを外しても精度が変わらず（96.6% vs 94.8%）、優位性の根拠が崩れたため撤回- 「自信申告の指示が回答を壊している」 — 同条件で測ると 91.7% → 95.0% で劣化しておらず、仮説が外れ
routedが最良 — 正規表現（営業日|日付|税|計算|%|円）がこの評価の設問文言と直接一致しており、有利に働いた疑いを晴らせないため推奨しない- 「業界ごとに強い戦略がある」 — 業界とタスク型が1:1で交絡しており、統計的に分離不可能
—使ったもの
- 全モデルを teai.io の同一エンドポイント経由で呼び、束ね方だけを変えて比較
- 採点は機械的（exact / 表記ゆれの正規化のみ）。judge の主観を混ぜていない
- 総実行 約12,000回 ／ ベンチマーク費用 $33
- 評価セット・戦略実装・生ログはすべて手元に保存（再現可能）
解説はこちら → 安いモデルは「知らないこと」を自覚できない