ハーバード大学とMITの研究により、LLMが「科学者のように話す」ことはできても、「科学者のように考える」ことはできないという衝撃的な事実が明らかになりました。 論文では、単なる知識量ではなく、仮説立案から実験、結果解釈、信念更新までの「科学的発見ループ」そのものを検証しています。 その限界と課題を3つのポイントにまとめました。 1. 科学的発見ループの脆弱性 LLMはもっともらしい仮説を提案するのは得意ですが、その後の検証と修正のプロセスが極めて脆いことが判明しました。表面的なパターンに過学習し、実験結果に基づいて自説を修正する能力が欠けています。 2. 思考の誤り 証拠が矛盾していても誤った仮説を捨てられず、正当化しようとする傾向があります。また、相関関係と因果関係を混同したり、実験が失敗した際に説明をハルシネーション（捏造）したりする問題も確認されています。 3. 決定的な結論 既存の推論ベンチマークの高スコアは、実際の科学的発見能力とはほとんど相関しないことが示されました。「科学的知能」と「言語的知能」は別物であり、現在のAIはまだ前者を獲得していません。