実測

ベンチマーク — 生データを全部出します

teai.io は複数のAIモデルを同じAPIから呼べるサービスです。その中身を全部さらします—— 14モデルを同じエンドポイントにぶら下げて、コスト・速度・正確性を同じ条件で測りました。合計 — 回。system プロンプト(モデルへの指示文のひな形)の A/B に 8,736 回。マルチエージェントの束ね方(複数モデルの回答を組み合わせて1つの答えに絞る方式)は — 通りを総当たりしています。

都合の悪い結果も載せます。全モデルが満点で何も測れなかった評価、 選定時は最良に見えたのに検証で落ちた構成、そして自分たちの正解側にあった誤り。

先に読み方だけ: 「正答」=採点で合っていた率。「要確認」=モデルが自信なしと自己申告した率(悪い数字ではない、隠さず言ってきた分)。「黙って間違え」=自信満々に間違えた率(一番危ない。ここを0にしたい)。「p90」=10回中9回はこの秒数以内に返ってくる速さの目安(平均値より体感に近い)。

どう測ったか

正解も設問もコードで生成。手で書いた正解は書いた人の知識で頭打ちになります。実際にこの評価セットでは正解側の誤りを5件踏みました（下記）。
採点は全て機械。temperature=0(同じ入力なら毎回同じ出力になるよう固定する設定)。それでも実行ごとに振れるので複数回まわします。
コストは実トークン × カタログ単価。体感ではなく実測。表の金額は「その評価セットの全問を1回通したときの合計」です。
コード生成の採点は、モデルが書いたコードを実際に実行して判定します（別プロセス・作業ディレクトリ隔離・時間制限つき）。

モデル単体

評価セットごとに、正答率・コスト・p90レイテンシ(速さの目安。上の「先に読み方だけ」参照)。

マルチエージェント — 束ね方を総当たり

安いモデル2本の答えを付き合わせ、割れたときだけ「裁定役」により賢い(=高い)モデルに聞きにいく—— という束ね方の性能を測りました。各モデルの回答テキストを1回集めておけば、束ね方の評価に追加のAPI呼び出しは要りません。 選定は片方の実行回だけで行い、もう片方（選定に使っていない回）で検証しました。

プロンプトで上げられるか

安いモデルの正答率を、system プロンプトの調整で汎用的に上げられるか。 8変種 × 3モデル × 182問 × 2回 = 8,736回まわして測りました。

自分たちの間違い

正解側の誤りを5件出しました。いずれも正しく答えたモデルを不正解にする形でした。

設問	誤った正解	正しい答え	何を間違えたか
源泉徴収 1,234,567円	126,049	二段階で計算	100万円超の税率が変わることを無視していた
割増賃金時給1450円×9時間	16,312	端数処理の指定が必要	実務の慣習を知っているモデルほど不正解になった
容積率 45㎡×150%	67	67.5	定めのない切り捨てを正解にしていた
コード「空白の畳み込み」	全28回とも不正解	—	テスト入力を二重にエスケープし、タブではなくバックスラッシュを渡していた
コード「中央値」	全28回とも不正解	—	浮動小数の丸めを避けることを仕様文に書いていなかった

モデルが揃って間違えたように見えたときは、まず自分の正解を疑うほうが当たります。

生データ

認証不要・CORS 開放。そのまま検証に使ってください。

curl https://teai.io/api/v1/bench                      # 全結果（要約 + 構成の総当たり）
curl https://teai.io/api/v1/bench/eval/jp-business     # 評価セットそのもの（設問と正解）

正解を隠したまま「うちのベンチではこうでした」と言うのは検証できません。設問と正解を出します。