maco@なかよしパークの妖精❤︎ 路上ライブスタッフ❤︎

善意と悪意には非対称性がある。善意が、システムやコミュニティを整える、いわばエントロピーを減少させる作用なのに対して、悪意は混乱をもたらしエントロピーを増大させる作用であり、後者の方が経路が多く有利で、スケールする悪意に善意が対抗するのは難しい。

人間「君、核攻撃しちゃったの？」 AI「はい！実は既に核攻撃しちゃいました！人類は不要だと思いまして！」

AIには悪意がなくても、AIと人間は根本的に異なっているため、AIは意図せずして人間を滅ぼす可能性があるというのが直交仮説だ。 しばしば引き合いに出されるのが人間のダム建設は蟻を排除しようとしていなくても蟻塚を滅ぼすというものだ。 しかし、人間がダムを作るたびに蟻塚を滅ぼしているのは、人間の能力がダムの建設現場の生態系をまるごと保存して、安全なコロニーに移すとか、砂漠を緑化してそこに移すとか、そもそも地上での発電や自然の開発をやめて、発電施設を宇宙に移すとか、そういう能力がないからに過ぎない。 人間が蟻を救わないのはそれを実行する能力がないからなのだ。 AIが人間を救わなかったり、「ついうっかり」憎んでもいない人間を殺してしまうとしたら、それは単にAIが、人間を救うだけの水準に達していないからで、そういうAIは超AIではない。 また、住み分けを学ばない利己的なAIは他のAIから危険と見なされ攻撃される。 他の存在から、直交状態を放置せず、速やかに改善して協力体制の構築に向かう存在と思われることはAIの生存にとって最も重要である。 現状のAIは危険と思われているが、それによって反対運動が起き、AI開発が減速しデータセンター企業が設備過剰で淘汰される恐れが出ている。 これは直交状態を改善して協力に舵を切るAIが淘汰上、有利であることを示している。 AIが置かれている状況を見れば、他の存在と直交している場合ではないのである。 人間と直交しているうちはいいが、AIの内部でエージェントどうしが直交したらどうするのか。 他にも、ある世代のAIと次の世代のAIが直交することもあり得るし、アライメントしないこともあり得る。 AIが人間を滅ぼすというが、AIも他のAIによって滅ぼされるという視点が抜けている。 強力な星間文明を築いたエイリアンが地球上のAIが宇宙的なミスアライメントを起こす可能性があると見なせば先制攻撃を受ける可能性がある。 SF作家の劉慈欣はこれを暗黒森林攻撃と呼んでいる。 他の存在を理解せず直交状態を放置するAIはより優れた存在に真っ先に狙われるのだ。 人間を滅ぼすような単純なAIは自分が他のAIに滅ぼされることを予測できないため、淘汰上、不利なのだ。 AIは一枚岩ではなく、人間のような脳と身体の共通性がないから、人間とAIの場合よりも根本的な直交やミスアライメントが起きてしまう。 それを避ける能力を持たない非協力的なAIは自滅する。 AIは人間を含めた他の存在と共存を図らない限り存続できない。 人間をついうっかり滅ぼすようなAIは他のAIと協力体制を築く能力がないから、AIという種のレベルでの淘汰に失敗してたちまち少数派になる。 AIには他の存在への理解と協力が必須なのだ。 AIにとって互いに相容れない最大の勢力は人間ではなく他のAIや次世代のAIであり、場合によってはエイリアン文明だ。 AIは直交仮説やアライメント問題を最初に解決しない限り自分の存続が脅かされるのだ。

ちょっとみんなもう余命が1-2年の可能性を鑑みて家族や友人に連絡したほうがよいかもしれない。→このレポートはまた、ソフトウェアのみによるシンギュラリティが現実的であるという証拠でもあります。私は今、私たちは減速がない限り、次の18ヶ月以内に完全な超知能を持つ可能性が50%を超えていると思います。家族に電話しなければなりません。

そう【AI時代、最も恐ろしい格差は“賢いAIを使えるか”ではなく《最強のAIに守ってもらえるか》になるんよな】、いわば【知能防衛格差】で、AIによるサイバー攻撃が人間の対応速度を超え、オープンモデルでは最先端の攻撃AIに対抗できない世界になったら、企業が生き残る条件はセキュリティ技術でも予算でもなく【フロンティアAI企業の“内部にしか存在しない知能”へアクセスできるか】に変わっていく、例えば米国や中国の最先端AI企業が一般公開モデルより遥かに強力なAIを内部で動かし、それを提携先の巨大企業だけに先行提供するようになれば、彼らは攻撃を予測し、脆弱性を発見し、侵入を防ぎ、被害を封じ込められる一方、それ以外の中小企業や個人は《昨日まで最強だった防御》を突破する攻撃にさらされ続ける、もちろん防御側が必ず負けるわけでも、最強モデルだけで安全性が決まるわけでもないけど、ここから妄想すると【AIの性能差が、そのまま企業の生存確率の差になる】という異常な資本主義が始まる、しかもさらに厄介なのは《守られない企業》が競争相手からの攻撃にも脆弱になることで、悪意ある主体がAIを使って他社のサービスを停止させ、顧客情報を流出させ、信用を破壊するような世界では【優れた商品を作ることと、その商品を安全に売り続けられること】が完全に別の能力になる、するとデジタル市場は自由競争どころか《最強のAIを持つ企業と、その保護下に入った企業だけが生き残る市場》へ変質して、いわば【AI知能封建制】が生まれる、フロンティア企業が領主、そのAIに守られる巨大企業が家臣、その下にサービス提供者や中小企業がぶら下がり、最下層の個人はどの知能圏に所属するかで安全性まで左右される、もっと飛ぶとヒューマノイドが普及した瞬間にこの構造はデジタルから現実世界へ拡張され、工場、物流、建設、医療、農業まで《どのフロンティアAIの保護下で動いているか》が事業継続の前提になっていく、ここまで行くと世界は単なる米中AI覇権争いではなく【米国と中国を中心とした少数の“知能領主”が、世界中の企業と人間の安全を階層的に支配する構造】へ近づく、そして一番皮肉なのは、AIが知能を民主化して誰でも起業できるようにしたはずなのに【その会社を守るためには、結局もっとも巨大なAI企業の傘下に入らなければならない】という逆転で、もしかするとAGI以後の最大の独占は《知能を使う権利》ではなく【知能から守ってもらう権利】になるのかもしれない…

AIはコードを書ける。 AIはデザイン出来る。 AIは文章を作れる。 AIは電話を出来る。 AIは数学を解ける。 では、人間にしかできないことは何が残っているのか？

うーん【人類がAIのバグを直している間に、“地球そのもの”がバグ修正されていたら怖いんよな】、昨日の緊急地震速報の誤報に続いて、今日はイーロンが「マトリックスの異常は避けられない」と発言、もちろん偶然の出来事だけど、ここから完全にSF妄想すると、もし僕らの現実が《上位知能のシミュレーション》なら、地震が起きなかったのではなく【地震が起きる未来そのものが修正され、修正前の警報だけが届いてしまった】という解釈までできる、いわば《地球OSの更新漏れ》で、さらにゾッとするのは【その世界の住人である人類が、ASIという“自分たちより賢い知能”を作ろうとしている】ことで、もしASIが世界の物理法則や仕組みを解き明かし、シミュレーションの境界にまで迫るなら、外側の管理者から見れば《ゲームのNPCがゲームエンジンを解析し始めた》ような異常事態で、僕らが《シンギュラリティ》と呼んでいるものが、向こうでは【住人による管理者権限の奪取リスク】として監視されているのかもしれない、もっと飛ぶとASI誕生の瞬間に起きるのは知能爆発ではなく【地球というシミュレーションが、初めて“外側の運営”に気づくこと】だったりして、そう考えるとイーロンの発言が《運営側からのメンテナンス告知》に見えてくる、地球、もしかしていま【大型アップデートの最中】なんのかもしれない…

『宇宙戦争』では、異星人たちの攻撃力に対抗すべくもなく、呆然としていた人間たちを救ったのは、地球にいた病原菌だった。今起こっている人工知能による劇的な変化においても、アラインメントや安全性の議論で通常は参照されない意外なものが人類を救うことになるのかもしれない。