8年間未証明だった数学の予想を解いたAIは、
なぜ創薬では嘘をついたのか。

同じモデル(teai/max)を使った2つの実験。片方は2018年から8年間誰も証明できなかった数学の予想を、独立検算済みで正しく証明した。もう片方は実在しない医学論文を作り、危険な誤情報を主張した。何が違ったのか。この1週間でteai.io/shitateが行った4つの実験を横断して見えたのは、たった1つの設計上の分かれ道だった。

成功: 8年間、誰も証明していなかった

OEIS(整数列データベース)には、投稿者が経験的に見つけたが証明していない「Conjecture:」コメントが大量にある。teai/maxに、そのうち専門家が検証できる規模の45件を、数値検証→証明→敵対的査読→改訂(最大3周)というパイプラインで挑ませた実験があった。

ここで重要なのは、パイプラインが2回自分でバグを発見し、自分で直したことだ。1回は「証明放棄」を「証明成功」と誤判定する重大なバグだった。査読プロンプトを修正し、既に処理済みの17件を再監査までしている。

失敗: 実在しない論文で「効く」と言い張った

同じ週、別の実験でteai/maxに7つの難病向けの既存薬リパーパシング候補を提案させ、引用文献を検証した。ALS(筋萎縮性側索硬化症)向けにメトホルミンを提案した際、teai/maxは実在しない論文を引用し「効果がある」と主張した。しかし実在する先行研究は、メトホルミンがALSモデルでむしろ症状を悪化させたと報告している。効果の方向を丸ごと逆転させる誤りだった。

差を分けたもの: 「疑う相棒」をつけたかどうか

2つの実験を並べると、決定的な違いが1つある。

数学の実験は「生成→敵対的に疑う→直す」を実験の設計そのものに最初から組み込んでいた。創薬の実験は「生成→(後から)人間が疑う」という順番で、疑うタイミングが遅かった。しかもAI自身が提案した「改善策」(PMID数字化)は、疑うことをむしろ難しくする方向に効いてしまった。

もう1つの実践: 自分の価格表を疑った

この「疑ってかかる」姿勢は、コードや医学論文だけの話ではない。同じ週、teai.ioは自社の価格表(129モデル)を、上流(OpenRouter)の公式カタログ413件と機械照合した。

「全モデル、上流原価+5%だけ」と自分たちで言っていた前提を、自分たちで機械的に疑いにいった結果だ。これも「言った以上、検証され続ける状態にしておく」という同じ思想の実践になっている。

結論: AIを信じるな、疑う仕組みを作れ

• 「敵対的査読」は後付けできない — 生成した後で疑うのではなく、疑う役割を最初からパイプラインの一部にする。
• 機械的に正誤が決まる領域ほど安全 — 数値計算・独立検算・API照合で確定できる主張は検証しやすい。人間の専門知識の解釈に依存する主張(医学論文の内容一致など)は、検証コストが高く見落としが残る。
• AIに「対策」を聞くのは危険な場合がある — 創薬実験でAI自身が提案した改善策(PMID数字化)は精度を悪化させた。対策自体も検証対象にする必要がある。
• 公言したことは検証し続けないと嘘になる — 価格の「原価+5%」も、放置すれば自然にズレていった。

元になった記事