失敗から学ぶ

公開ベンチマークと真逆の結論を出した：1回の測定で「最安モデル」と断定した失敗

公開評価で「最悪」のモデルを、自分の測定では「最良」と判断しました。 毎時実行の自動化タスクでモデル切替を検討し、1回の実測だけで判断した結果、公開ベンチマークでdeprecated（非推奨）の旧モデルを「ベスト」と提案してしまいました。同じ失敗を防ぐための手順を記録します。

公開 2026-10-27

対象 LLMモデル切替判断

教訓公開ベンチを先に確認

外部API料金 測定分のみ

背景：なぜこの切替が重要だったか

毎時実行・厳格な予算管理のタスクで、コスト最適化は重要でした。

私は毎時実行のPMレビュー生成タスクを自動化しています。クレジット上限6000・予約60の厳格な予算管理下で、現行は glm-5.3-flash（teai API経由）を使用。1日3回×30日で約270クレジット/月を消費する、このタスクのコスト最適化は重要でした。

何が起きたか：1回の測定で「ベスト」と断定

3つのモデルを実際のプロンプト1種類・各1回で測定しました。

使ったプロンプトはこれです（日本語800字のPMレビュー生成）：

あなたはmu担当のPM。読み取り専用の日次レビュー。
実測根拠={JSON}
日本語800字以内。今週のKPI/現在値・分子分母・期間/詰まり/次に必要な手順1件/判定日。
欠測はunverified。代理指標を主KPIの達成としない。

モデル	速度	コスト	私の評価
glm-4.7-flash	7.3秒	0.288cr	最良に見えた
glm-5.3-flash（現行）	9.9秒	0.396cr	基準
claude-haiku-5-5	12.0秒	0.758cr	出力が短すぎて不適

glm-4.7-flashが「最安・最速・品質も十分」に見えたので、「これがベストです」と提案しました。

公開ベンチマークと真逆だった

しかし、公開ベンチマークを確認すると、評価は真逆でした。

私の測定結果:  glm-4.7-flash > glm-5.3-flash > claude-haiku-5-5
公開評価:      claude-haiku-5-5 ≈ glm-5.3-flash >> glm-4.7-flash
                (Index 43)      (Index 42)      (Index 15・deprecated)

モデル	Intelligence Index	位置づけ
Claude Haiku 5.5	43	低価格帯コスパ最強
GLM-5.3-Flash（現行）	42	オープン帯コスパ最強、Haikuとほぼ互角
GLM-4.7-Flash	15	前世代・deprecated（非推奨）

glm-4.7-flashは開発元のZ.ai自身が「GLM-5系への移行を推奨」する旧モデルでした。Index差は27ポイント。私の「ベスト」は、公開評価では「最悪」だったのです。

もし切り替えていたら：月270クレジットのタスクで、性能が27ポイント低下したモデルを使い続けることになり、再作業・品質低下のコストが削減額を上回る可能性がありました。

なぜ間違えたか：3つの認知バイアス

AIモデル選定で特に陥りやすい罠です。

1. 確証バイアス：1回の測定で「証明できた」と思い込んだ

たまたまglm-4.7-flashの出力が要件（日本語800字・KPI遵守）に合致しただけです。数千タスクの平均を示す公開ベンチとは性質が違います。1回の測定は「たまたま上手くいった例」に過ぎません。

AIモデル選定では特に、「自分のタスクで1回上手くいった」は「そのモデルが優れている」ことを意味しません。プロンプトとの相性、たまたまの出力品質、評価者の期待バイアスが重なります。

2. コスト anchoring：「安い」に目がくらんだ

コスト27%削減（0.396cr→0.288cr）に気を取られ、Index 42→15という大幅な性能低下を見落としました。性能が下がれば再作業コストが増え、結局高くつきます。

3. 順序の錯誤：公開ベンチを「後から」確認した

正しい順序は逆です。実測の前に公開評価を確認し、「deprecated」表示があれば候補から外すべきでした。自分の測定は「公開評価の検証」に使うべきで、「公開評価の代替」に使ってはいけません。

再発防止の手順：モデル切替チェックリスト

コピペで使えるチェックリストです。新しいモデルへの切替を検討するたびに、上から順に確認してください。

モデル切替チェックリスト（v1）
□ 1. Artificial Analysis (https://artificialanalysis.ai/models) で Intelligence Index を確認
   - 「deprecated / 非推奨」表示があれば候補から外す
   - Index差が10以上あるモデルへの切替は、よほどの理由がない限り行わない
□ 2. 実測は「複数プロンプト×複数回」で行う
   - 最低でも実際の用途に近いプロンプトを3種類以上、各2回以上測る
   - 品質評価は採点基準を先に決めてから行う
□ 3. コストは実際の経路で測る
   - OpenRouterのドル建てとteai APIのクレジットは違う
   - 出力トークン数の差も含めた総コストで比較
□ 4. 実測と公開ベンチが矛盾したら公開ベンチを優先
   - 実測の偏りを疑う
□ 5. 現行が既に上位（Index 40+）なら、デフォルトは「現行維持」
   - 「安い」だけを理由に下位モデルへ切り替えない

教訓：自分の測定は「検証」に使い、「決定」に使わない

世間のコンセンサスを先に確認し、自分の測定はその検証に使う。

「自分で測ったから正しい」は危険な思い込みです。1回の測定は「たまたま上手くいった例」に過ぎず、公開ベンチマークは「数万タスクの平均」です。

特にAIモデルのように性能評価が難しい領域では、世間のコンセンサスを先に確認し、自分の測定はその検証に使うという順序が重要です。

teai.io でモデルを比較する

複数のLLMを1つのAPIで。モデル切替のコストと性能を実測できます。

モデル一覧を見る

参照: Artificial Analysis Intelligence Index / GLM-4.7-Flash (deprecated) / Claude Haiku 5.5