同じ質問を40回したら、答えが2種類返ってきた。

結果：条文を渡すと、ほぼ別のモデルになる

203問・temperature 0・各条件1回。安い順ではなく、今回測った6モデルをそのまま並べています。差が最も大きかったのは Gemini 2.5 Flash（+39.4ポイント）と GPT-5.4 Nano（+55.2ポイント）でした。

種別ごと：採光と容積率で、モデル差が最も開く

条文を渡した状態の内訳です。数値穴埋めは6モデルすべて100%、誤り検出も96%以上でした。Qwen3.5 Flash を除く5モデルでは、7項目すべてが87%以上に収まっています。開きが最も大きいのは Qwen の採光補正係数（18%）で、その行を外すと最大の差は applied の 87%〜100% になります。applied は、前面道路の制限で容積率を決め、敷地面積を掛け、建蔽率側と並べて答える2段の計算です。

黄色は90%未満。42セル中7セルで、うち5セルが Qwen3.5 Flash の1行（採光 18%、容積率 40%、条文同定 63%、建蔽率 73%、応用 67%）。残りは GPT-5.4 Nano の 応用計算（2段） 86.7%、GPT-5.4 Nano の 採光補正係数 87.5% です。Qwen は同じ条件の2回目で 91.6% まで戻っており、この低さが恒常的な能力なのか、下で扱う応答の振れの一部なのかは、この測定だけでは切り分けられません。

本題：同じリクエストが、2種類の応答を返す

203問の測定中、Qwen3.5 Flash だけが同じ条件の2回目で 61.1% → 91.6% と動きました（82/203問が正誤反転）。検索結果はほぼ同一（プロンプトのトークン中央値 2,356 → 2,354）だったので、検索側の問題ではありません。切り分けるため、1問（day-000・採光補正係数）の同一リクエストを40回投げました。

正解は 0.504 です。推論ありの25回は全問正解、即答の15回は全問不正解で、中間はありませんでした。同じ入力・同じ温度・同じ条文を渡しているのに、返ってくる応答の型自体が毎回変わる、というのがここで起きています。

モデルを変えると、この振れ方は変わる

同じ1問を GPT-5.4 Nano で20回投げると、即答は0回、20回すべて推論ありで正解でした。ところが203問を通すと、同じ nano でも 93.1% → 96.1% と20問が反転します（推論トークンの中央値は 398 → 386 でほぼ同じ）。つまり「特定のモデルが壊れている」のではなく、応答の型が確率で変わり、それが問題との相性で得点差になる、という構造です。

もう1つ見つかった失敗：推論が本文に漏れて途切れる

4問×5回の追加試行（20回）で、応答本文に推論の区切り記号が混ざり、本文が「第 20」で切れた例が1件ありました。APIが返した出力トークンは 18,830 で、こちらが指定した max_tokens 12,000 を超えています（理由は未確認）。答えとして成立していないため不正解に数えています。長く考えること自体は正解率を上げますが、推論が本文に漏れると、正しい考えを持っていても使える答えになりません。

</think>

第 20

再測定のまとめ

1回目と2回目は同じ203問・同じプロンプト・同じ採点コードです。差は日時だけ（qwen は 00:32 と 09:41 に実行）。他4モデルは各1回のみで、分散は測れていません。

費用と精度の関係

「正解1件あたり」は 203問の推計費用 ÷ 正解数です。誤答にも費用を払うため、1問あたりの安さと正解1件あたりの安さは一致しません。Qwen は1問 $0.0003 で最も安い一方、精度 61.1% なので正解1件あたりは $0.0005、GPT-5.6 Luna は1問 $0.0022 で正解1件あたり $0.0022 です。1問あたりの差は 6.5倍ですが、正解1件あたりでは 4.4倍に縮みます。

費用面では、条文ありの測定で最も実用的だったのは GPT-5.6 Luna（98.0%・1問 $0.0022・中央値2.9秒）でした。最高精度は GPT-5.5（99.5%）ですが1問 $0.0245 で、Luna の約11倍です。ただしこれは各1回の測定であり、上で見たような振れを含んでいません。数ポイントの差でモデルを選ぶなら、先に振れ幅を測るべきです。

この記事の数値はすべて公開JSONから再計算できます。下の記録には、203問の全文・全モデルの全応答（採点理由つき）・40回反復の生ログ・実行コマンドを収録しています。

実際の3問と、6モデルの回答

タスクセットから3問を抜き出し、条文を渡した条件の回答をそのまま載せています（表示は96文字まで）。正解は条文か計算から機械的に決まっており、モデルの回答を正解にしていません。

条件と費用の数え方

• 対象は建築基準法・同施行令・同施行規則の本則851条（e-Gov 法令APIから取得）。203問の内訳は 数値穴埋め23 / 条文同定27 / 建蔽率30 / 容積率30 / 採光補正係数40 / 誤り検出23 / 応用計算30。
• 全リクエスト 2436 件（203問×6モデル×2条件）。temperature 0、max_tokens 12000、非ストリーミング、クライアント再試行0。条文ありでは最大6,000字の条文を質問の前に置いています。
• 検索は外部依存なしの簡易ハイブリッド（BM25＋見出し完全一致＋引用文の5-gram包含一致）。条文は取得順に詰め、段落だけを抜き出す方式は精度が落ちたため使っていません。
• 採点は決定論的です。数値は正規化後の一致、比率は分数の一致、条文同定は条番号の一致、誤り検出は判定語の一致、応用計算は2つの数値の一致。LLM判定は使っていません。
• 費用は返却された入出力トークン数に取得時の公開単価を掛けた推計で、合計 $14.39（全2436リクエスト）。照合済みの請求額でも上流の確定原価でもありません。

限界：これは小さな自作ベンチマークで、新しい非公開テストではありません。長文コンテキスト・画像・自由作文・コード開発・エージェント動作は対象外です。単一モデルの分散は qwen と nano でしか測っておらず、他の4モデルは1回だけです。公表時点の上流の構成や混雑で、応答時間も応答の型も変わります。

実務で使うなら、この3つを先に決める

そのまま使える出力形式の例

次の形式だけで答えよ。前置き・説明・単位は書かない。
1行目: ANSWER=<数値>
2行目: ARTICLE=<法令名>第<条番号>条

# 受け側の機械検査（例）
- ANSWER が空、または数値に変換できない → 不合格
- ANSWER が想定範囲（例: 採光補正係数なら 0.1〜1.0）の外 → 不合格
- ARTICLE が検索で渡した条番号の集合にない → 不合格
- 2回実行して ANSWER が不一致 → 人間の確認へ

この形にすると、40回の反復で起きた「6トークンの即答」も、本文が途中で切れた応答も、機械的に不合格にできます。中身の正しさは別に、条文と計算で照合してください。

これは今回の203問での観測で、他の法令・他のモデルにそのまま当てはまる保証はありません。同じ手順を自分の条文で回せば、同じ形で確かめられます。

teai の API ドキュメント（OpenAI互換・モデル一覧） · 料金

記録を確かめる

203問の全文・全応答・採点理由・反復プローブ・実行コマンド（JSON）

測定コードとタスク生成コードは kenchiku-bench リポジトリで公開しています。条文取得（corpus/fetch_laws.py）→タスク生成（bench/tasks.py）→自己テスト（bench/selftest.py）→測定（bench/run.py）の順で、同じ条件を再現できます。自己テストはAPIを叩かず、採点ロジックと条文の引き当てだけを検査します。

同じ手順を teai の API で回すなら、任意のモデルIDで bench/run.py --rag を実行してください。モデルを差し替えても採点は変わりません。

関連する実測

• Bonsaiを測る。JSON・SQL・ツール判断まで。
• 正解でも、そのまま使えるとは限らない。
• 実測記事の一覧