kogz

AIを使って馬鹿になる人について考えるとき、「AIに頼ると頭を使わなくなる」といった話は、あまり本質的ではない。電卓が普及して暗算をする機会が減ったとか、Google Mapsのせいで道を覚えなくなったとか、その程度の話なら、人類は文字を発明した時点ですでに相当馬鹿になっているはずである。 もっと興味深い問題がある。 1983年、心理学者・人間工学研究者のLisanne Bainbridgeは「Ironies of Automation（自動化の皮肉）」という有名な論文を書いた。そこで指摘された逆説は、40年以上たった現在の生成AIにも驚くほどよく当てはまる。 機械が人間より上手にできる仕事を次々に自動化していくと、最後に人間に残されるのは何か。それは、機械がうまく処理できなかった例外的で、複雑で、判断の難しい仕事である。ところが、日常的な仕事を機械に任せれば任せるほど、人間はその仕事を自分で行う機会を失い、技能も状況理解も衰える。つまり、自動化が進むほど、人間の出番は減るのに、人間が出番を求められたときの仕事だけは難しくなる。Bainbridgeが「皮肉」と呼んだのは、この構造である。 たとえば、毎日100本のプログラムを書かなければならない人がいて、そのうち99本をAIが完璧に書いてくれるようになったとする。これは一見すると素晴らしい。しかし人間に回ってくる1本は、「なぜか本番環境でだけデッドロックする」「仕様書そのものが矛盾している」「二つの設計思想のどちらを採用するか判断しなければならない」といった、AIが処理できなかった難問になる可能性が高い。 つまり、その人は99本の普通のプログラムを書くことで本来得られたはずの訓練を失った状態で、100本中もっとも難しい1本だけを解かなければならなくなる。 これはなかなか意地の悪い仕組みである。 1995年、EndsleyとKirisは、この問題を「out-of-the-loop performance problem」として実験的に調べている。人間がシステムを直接操作する立場から、自動化されたシステムを眺めるだけの立場に移ると、単に操作技能が落ちるだけではなく、「いま何が起きていて、この先どうなるのか」という状況認識まで低下する。そして自動化システムが故障して突然人間に操作を返したとき、対応が遅れる。研究では、能動的な情報処理から受動的な情報処理へ移ることが、この低下の重要な原因として示唆されている。 これはプログラミングに限らない。部下が作った契約書を毎日チェックしている人は、長年のうちに「この条項は妙だ」という感覚を身につける。しかし契約書をAIが作り、AIがチェックし、人間は最後に「承認」ボタンを押すだけになれば、その感覚を獲得するために必要だった何千回もの小さな判断が消える。そして本当にAIが見落とすような珍しい契約上の問題が起きたときだけ、人間に判断が戻ってくる。 AIによる能力低下の恐ろしさは、「簡単な仕事ができなくなること」ではない。簡単な仕事を大量に経験することでしか育たなかった、難しい仕事を処理する能力まで失われることにある。 さらに厄介な問題がある。自分の能力が落ちていることを、自分自身が認識できなくなる可能性である。 心理学には「metacognitive calibration」という考え方がある。簡単に言えば、「自分がどれくらい正しいか」という自己評価と、実際の正答率がどれくらい一致しているか、という問題である。知識が多少不足していても、自分が何を知らないかを正しく認識できる人は比較的安全である。危険なのは、能力そのものより、このキャリブレーションが壊れることである。 2026年に『Computers in Human Behavior』に掲載された研究には、実に象徴的なタイトルがついている。 「AI makes you smarter but none the wiser」 直訳すれば、「AIはあなたを賢くするが、自分がどれほど賢いのかは分からなくする」といった意味になる。この研究では、LLMを使うことでLSAT型の推論課題の成績そのものは向上した一方、人々が自分の成績をどれだけ正確に評価できるかというメタ認知には問題が生じた。特に興味深いのは、AIリテラシーが高いことや自信が強いことが、必ずしも自己評価の正確さにつながらなかったという点である。 考えてみれば当然である。 AIなしで10問中6問解ける人が、AIを使うと10問中9問解けるようになったとする。このとき本人が観察できるのは「私は9問解けた」という結果だけである。しかし、その9問のうち何問が自分の能力で、何問がAIの能力なのかは、結果からは分離できない。 ここで、自分自身の能力を測るためのフィードバック系が壊れる。 筋力なら、100kgのバーベルを持ち上げられなければ自分の筋力不足はすぐ分かる。しかし、AIと一緒に100kgを持ち上げている状態では、自分が何kgまで持てるのか分からない。そしてAIの補助があまりに自然になると、そもそも「これは二人分の力で持ち上げている」という感覚すら薄れてくる。 私は、AI時代に本当に危険なのはここだと思う。 人間は無知であることには比較的耐えられる。「これは知らない」と自覚していれば、調べることができるからである。しかし、知らないという自覚そのものを失えば、調べるという行為も発生しない。 もう一つ、この問題を理解するうえで面白い古典的な実験がある。「generation effect（生成効果）」と呼ばれる現象である。 SlameckaとGrafは1978年の実験で、答えをただ読んだ場合と、自分で答えを生成した場合を比較した。すると同じ情報であっても、自分で生成したもののほうが、その後の記憶成績が良かった。これはさまざまな条件で確認された。 この現象をAIに当てはめると、少し嫌なことが見えてくる。 たとえば会議で「この新規事業の問題点を三つ考えてください」と言われたとする。五分間考えて、「市場規模」「競合」「人材」という三つを自分でひねり出す。その後ChatGPTに聞いたら、「法規制」「顧客獲得コスト」「既存事業とのカニバリゼーション」まで出てきた。この使い方なら、自分の思考にAIによる追加が行われる。 ところが最初から「問題点を10個挙げて」とAIに尋ね、その中からもっともらしい三つを選ぶだけになれば、自分が問題を生成する工程そのものが消える。 成果物だけを見れば後者のほうが立派である。だが、脳の中で起きたことはまったく違う。 これこそ、AIについて議論するときに「生産性」という指標だけを見てはいけない理由である。ある人がAIを使って以前の三倍の文章を書き、二倍のコードを書き、五倍の資料を作れるようになったとしても、その数字から本人の能力が向上したとはまったく言えない。極端な場合には、成果物の品質が上がるのと同時に、本人が単独で判断する能力は下がり、しかも本人にはその低下が観測できない、ということすら起こり得る。 そして、ここまで考えると「AIを使って馬鹿になる人」の特徴も少し違って見えてくる。 AIに質問する人が馬鹿になるのではない。AIに文章を書かせる人でもない。コードを書かせる人でもない。 AIが担当した認知過程と、自分が担当した認知過程との境界が見えなくなった人が危ないのである。 自分が考えたのか、AIが考えたのか。自分が理解したのか、理解しやすい説明を読んだだけなのか。自分に判断能力があるのか、AIが常に正解を横に置いてくれているから判断できているように見えるだけなのか。 この区別を意識的に維持できる人にとって、AIは恐ろしく強力な知的増幅器になる。 維持できない人にとっては、もっと恐ろしいものになる。 なぜならAIは、その人の能力を奪うときですら、本人には「以前より賢くなった」という感覚を与えることができるからだ。 だから、AIなんか使うな。 ちなみにこの文章は全文ChatGPTが書いた。