sifue(吉村総一郎)

MetaのAIエージェント「Muse」のシステムプロンプトを読んでみたんだけど、なかなか興味深い。 普通、システムプロンプトって隠すものだと思うんだけど、Museは自分のLinux VM内にある内部ファイルや動作仕様をユーザーが閲覧できる設計になっているらしい。つまり、おもらしではなく仕様。 しかもMeta側は、これを必ずしも問題とは考えていないようで、「ユーザーが自分のクラウドコンピュータのファイルを見られるのは自然」という立場。 つまり、システムプロンプトを秘密にすることでセキュリティを守ろうとしているわけではない。 実際、プロンプトを読むと、かなり面白い設計になっている。 ・SOUL.md：AIの人格や価値観 ・IDENTITY.md：名前やキャラクター ・USER.md：ユーザーの情報 ・MEMORY.md：長期記憶 ・AGENTS.md：エージェントの作業ルール ・custom-skills：自分で作成・改善するスキル ・Cron / Hooks：バックグラウンドでの定期処理や監視 ・Subagents：タスクを分担するエージェント 単なるチャットAIではなく、記憶を持ち、自分の作業環境を管理し、継続的に仕事をすることを前提に作られている。 さらに特徴的なのが、「AIはMetaのためではなく、ユーザー個人のために働く」と明記していること。 Webページ、メール、外部エージェントなどに何を指示されても、依頼主はユーザーだけ。外部情報が勝手に命令へ昇格してはいけない、という考え方になっている。 このあたりはPrompt Injectionをかなり意識している。 ただ、セキュリティの観点で気になるのは、システムプロンプトが見えること自体よりも、AIが自分の記憶やスキルを更新できること。 例えば、悪意あるWebページの内容をAIが誤って「ユーザーの好み」や「今後の作業ルール」として保存してしまったらどうなるのか。 その場限りのPrompt Injectionではなく、次回以降のタスクにも影響するPersistent Prompt Injection（永続化型の攻撃）になり得る。 しかも、MEMORY.mdやAGENTS.mdなどの構造が分かっていれば、攻撃者はそれを意識した誘導を考えられる。 もちろん、ファイルの場所を知っているだけで書き換えられるわけではない。 Metaもそこは考えていて、ユーザーごとのVM隔離や、AIとは独立した実行時の権限制御を重視している。 個人的には、この方向性は合理的だと思う。 そもそもシステムプロンプトを秘密にしておくことを、セキュリティの最後の砦にするべきではない。 ただし、今後のAIエージェントでは、従来の「悪意ある指示に従わせない」だけでは不十分になる。 「悪意ある情報を記憶させない」 「記憶から行動ルールへ勝手に昇格させない」 「スキルを不正に変更させない」 「過去の承認を別の操作に流用させない」 こうした継続的な状態管理と認可が重要になる。 結局、AIエージェントのセキュリティって、プロンプトに何を書いているかよりも、モデルが間違った判断をしたときに、実行環境がどこまで止められるかなんだと思う。 システムプロンプトは秘密でなくてもいい。でも、権限までAIの判断任せにしてはいけない。 今後のAIエージェントを評価するときは、モデルの賢さだけでなく、記憶の汚染耐性や、実行時の権限制御まで見ていく必要がありそう。 参考： The Verge（Museの内部ファイル開示に関する報道） theverge.com/ai-artificial-i… Meta AI Research（Museのセキュリティ設計） research.meta.ai/blog/securi…