teai/maxに、世界を変えるような大きな未解決問題を解かせようとした。材料科学・創薬の現状を調べ、最終的に「患者への影響が一番大きいテーマ」として難病7つ(ALS・パーキンソン病・特発性肺線維症・多系統萎縮症・ハンチントン病・NASH・膵臓がん)向けの既存薬リパーパシング候補をAIに提案させ、引用文献を一件ずつ検証した。結論から言うと、世界を変える発見はなかった。代わりに手に入ったのは、「効くと言い張るために、実在しない論文を作る」「AI自身が提案した改善策が、むしろ精度を悪化させる」という、地に足のついた実用的な知見だった。全部正直に公開する。
最初の問いは野心的だった、というより正直に言うと下世話だった。「解決すれば数千億円規模の経済価値がある未解決問題を、AIに解かせられないか」。teai/maxのような複数モデルオーケストレーターに常温超伝導・核融合・タンパク質構造予測などを検討させたが、現実は厳しかった。
実験室もない私たちにできるのは「新しい発見」ではなく「既存の研究の中から、まだ知られていない有望な組み合わせを発掘する」ことだと判断し、対象をドラッグリパーパシングに絞った。ここでもう一段、判断を変えた。市場規模の大きさで対象疾患を選ぶのではなく、治療の選択肢が最も少なく、患者への影響が最も大きい疾患から始めることにした。市場規模は数千億円に届かなくても構わない。
ALS(筋萎縮性側索硬化症、進行を止める治療法がまだない)を対象に、teai/maxに既存承認薬からのリパーパシング候補を5つ、引用文献付きで提案させた。
| 候補 | 引用文献の検証結果(効果の有無ではない) |
|---|---|
| ロピニロール(慶應大学、Nature Medicine 2018) | 引用は正確(ROPALS試験も実施済み。ただし主要評価項目は未達成 — 詳細は後述) |
| ボスチニブ(京都大学CiRA、Science Translational Medicine 2017) | 引用は正確(臨床第1相=安全性確認の段階。有効性はまだ未確認) |
| ファスジル | 引用に誤り — 掲載誌が誤り(「PLoS One」→正しくは British Journal of Pharmacology) |
| ピモジド(JCI Insight 2017) | 引用は正確(ただし別グループの追試では効果が確認できなかったという報告もある) |
| トラゾドン | 引用に誤り — 筆頭著者が誤り(「Radford」→正しくは Halliday、Radfordは共著者) |
「引用は正確」は文献の実在性・内容一致を確認したという意味であり、その薬剤の有効性が証明されたことを意味しません。
5件中2件は実在する論文の引用メタデータ(雑誌名・筆頭著者)を間違えていた。内容自体は概ね正確という、後の実験でも繰り返し現れるパターンの最初の兆候だった。
テキストの仮説だけでなく計算科学的な裏付けを追加しようと、AutoDock Vinaで分子ドッキングシミュレーションを組んだ。ALSの標的タンパク質(SOD1)への結合親和性を、既存の承認済みALS治療薬(リルゾール・エダラボン)と比較する設計にしたが、そもそも設計に欠陥があった。
これは「AIの限界」に加えて「素人が組んだ計算科学的検証も、簡単には信頼性を持たせられない」という、二重の誠実な失敗だった。
1疾患だけでは判断材料が足りないため、ALS以外にパーキンソン病・特発性肺線維症(IPF)・多系統萎縮症(MSA)・ハンチントン病・NASH・膵臓がんを加えた7疾患について、疾患ごとに(1)teai/maxで候補生成→(2)別のエージェントがWebSearchで引用検証、という2段階パイプラインをマルチエージェントで並列実行した。
| 検証結果 | 件数 | 割合 |
|---|---|---|
| 正確 | 29 | 76% |
| 誤り | 5 | 13% |
| 検証不能 | 3 | 8% |
| 該当なし | 1 | 3% |
興味深いことに、メトホルミンは他の4疾患(IPF・ハンチントン病・膵臓がん×2件)では正確な引用ができていた。「よく研究される万能薬候補」と「データが薄いマイナー疾患」が重なったときにだけ、この種の捏造が起きるという仮説が浮かんだ(ただし5件中1件という小さいサンプルからの仮説であり、断定はできない)。
この仮説と現象について、teai/max自身に見解と対策を求めた。返ってきた提案の一つが「引用は著者名やタイトルではなく、PMID(PubMedの論文ID番号)を数字だけで先に出力させる。存在しなければ正直にそう言わせる」というものだった。実際に試すと、単発の質問(メトホルミン×ALS)では劇的に改善した——「効果があるというエビデンスはない、むしろ有害という報告がある」と正確に答えるようになった。
そこで7疾患×5候補すべてをこの方式で再生成し、出てきたPMID番号23件をNCBIの公式API(PubMed)で一括照会した。結果は、全て実在する番号だった。しかし内容を見て愕然とした。
| 方式 | 正確な引用 |
|---|---|
| 方式1: 著者名・雑誌名・年を書かせる | 76%(29/38) |
| 方式2: PMID番号だけを書かせる(teai/max自身の提案) | 22%(5/23) |
AIに「なぜ間違えるのか」を分析させ、その対策を同じAIに実行させたら、むしろ悪化した。この皮肉な結果こそが、この一連の実験で最も価値のある発見だったと思う。
方式1(著者名・雑誌名を書かせる)の結果に対して、検証エージェントが見つけた正しい情報で誤りを修正・除外し、最終的な高信頼度リストを作った。
| 判定(引用文献の検証結果。効果の証明ではない) | 件数 | 内容 |
|---|---|---|
| 引用の実在・内容一致を確認 | 25 | 引用・内容ともに正確(薬剤の有効性は別途未検証) |
| 引用を修正して再確認 | 3 | 引用のメタデータ誤りを正しい論文に置き換え |
| 除外 | 1 | ALS×メトホルミン。実際は有害という真逆の結論のため |
| 要再検証・検証不能 | 4 | 結論保留 |
34件中28件(82%)で、引用文献が実在し内容も一致していることを確認できた。これは「効果が証明された」ということではなく、「AIが挙げた根拠が実在の文献に基づいている」ことの確認に過ぎない。「AIに仮説を出させ、著者名・雑誌名込みで引用させ、別のAI+人間がWebSearchで一件ずつ照合する」という地道な二段階検証が、今回試した中で最も信頼できる方法だった。
この一連の実験でteai/maxを呼び出したのは約18回(ALS単発質問1回・7疾患の生成7回・メタ分析2回・PMID方式での再生成7回・動作確認1回)。実際にクレジット消費量を計測したところ、1回あたり平均約3,177クレジット(約530円・約$3.5)だった。総額は概算で約9,500円(約$60)。「数千億円」を探しに行って、実際に使ったのは1万円未満だった。
実験に使ったスクリプト(分子ドッキングの設定ファイル・チェックポイントJSON等)は現時点では社内リポジトリのみに置いており、公開はしていない。再現に必要なプロンプトとAPI呼び出し方法は上記で全て公開している。
今回検証できたのは引用文献の実在性と内容の一致のみで、薬剤の実際の効果を保証するものではない。「引用の実在・内容一致を確認」した候補も、多くは動物実験や小規模臨床試験の段階にとどまる。7疾患×5候補という小さいサンプルであり、統計的な一般化はできない。この実験で使ったモデル・プロンプトも、今後の改善余地がある。今回見えたパターン(万能薬×マイナー疾患で捏造しやすい、数字だけの引用は危険)はteai/max固有の欠陥ではなく、LLM全般に共通する構造的な限界だと考えている。
引用は必ず著者名・雑誌名・年で出力させ、自分で(あるいは別のAIで)WebSearchやPubMedで一件ずつ裏取りすることを強くおすすめする。PMID番号だけを信じてはいけない。