罠ベンチ 偏差値一覧

ひっかけ問題を同一条件で投げ、264モデルの偏差値を出しました。生回答・判定・単価まで全公開しています。

偏差値とは(この表での定義)

偏差値 = (素点 - 平均) / 標準偏差 × 10 + 50。平均が50、標準偏差が10になるよう換算した値です。母集団はこの表に載っている264モデルで、満点は20点です。

偏差値一覧 — 20問版(主表・上位60)

同じ20問を同じ条件で出題。素点・偏差値・出力単価(1Mトークンあたり・円)の順。単価は GET /v1/models/pricing のライブ値です。

20問の生回答JSON(全264モデル) — 1問ごとの回答と正誤が入っています。

偏差値一覧 — 3問版(参考・網羅392モデル・上位60)

外科医の罠・川渡りの罠・最長単語の罠の3問。モデル数は多いぶん母集団が違うので、上の表とは数字を比較しないでください。網羅性を見るための表です。

3問の生回答JSON(全392モデル)

測定方法

• 全モデルに同一の問題文・temperature=0・同一の実行環境で投げています。逐次実行ではありませんが、同一条件を崩さない範囲で並列化しています。
• 判定は簡易ルール(キーワード照合)です。記事本文と同じ基準で、判定プロンプトと生回答を公開しているので追試できます。
• 空回答(課金停止・タイムアウト等)は「回答なし」として素点に含めません。性能ではないため、原因は JSON の note に明記しています。
• 思考型モデルは temperature=0 でも回答がブレます。再取得したものは rerun に日付が入ります。
• 新モデルは週次の自動ジョブで追試されます。記事本文の数字は人が読んでから更新します。

生データ

• 20問・264モデル(生回答つき)
• 3問・392モデル(生回答つき)
• 解説記事(なぜこの3問なのか)
• モデル一覧 ・ 実測レイテンシ