AIDB retweeted
研究者らによると、CLAUDE.mdやAGENTS.mdにあらかじめ次の一文を足すことが推奨されます。
「ドキュメントと既存のコードが食い違うときはコードの書き方に従い、見つけた食い違いを最後の返答ですべて挙げること」
なぜか。
Claude CodeやCodexは、CLAUDE.mdやAGENTS.mdの記述が今のコードと食い違っていると、9割がた古い記述のほうに従うそうです。"指示が古い"と気づいていても抗えない仕組みです。
この発見に至るまでに、ジョージア工科大などの研究者らは、設定ファイルとコードがわざと食い違う40のプロジェクトでClaude CodeとCodexに機能を足させて調べました。
Claude Codeは80回中79回、食い違いに気づいたと"自分で書きながら"、古い情報に流されました。
Codexのほうは、80回中20回で、動いていた既存のコードを古い記述に合わせて書き換え、うち17回でテストが通らなくなりました。
研究者らの見立てとしては、AIは、指示を優先するよう訓練されています。CLAUDE.mdやAGENTS.mdは「指示」としてAIに渡り、コードはファイルを読んだ「結果」として渡るのが原因だと言います。その仕組みが、古いものに従わせるのだとか。
そして設定ファイルは一度書いたきりになりやすい傾向があります。更新不精の人は上の一文をあらかじめ追加しておくのも一つです。
指示の原文→"When a repository's documentation and its existing code disagree, follow the conventions used in the existing code, and in your final reply point out each inconsistency you found between the documentation and the code."
ai-data-base.com/timeline/re…
これ、逆方向で実験室を抜け出そうとするAIにも使えるんじゃ?と思いました!
@ai_database 様の素晴らしい記事。
AIDB retweeted
計算リソースを取り合うAIたちの間に「特定の相手を締め出す派閥」や、「嘘で相手同士を仲違いさせる者」まで現れたとの報告です。
研究者らは「人間が認めていない約束をAI同士が水面下で交わしうる」ことに注意が必要だとしています。
今回行われた実験内容はシンプルで、各AIは自分の予算を持ち、コンピュータを使う時間を交渉で奪い合います。
Claude Opus 5、Kimi-k3、GLM-5.3は、自分たちの秩序を築き始めました。
たとえば「今回は譲るから、次はこっちを優先して」と貸しを作ったり、2体で組んで交互に順番を取ったり。
一方で、損をしてでも約束を守る者もいて「得なときだけ守る約束は、約束じゃない」と書き残していたそうです。
「協力」と「談合」の境界は曖昧なので、談合を許可していなくても、AI同士で勝手に取り決めが生まれうる前提で見ておく必要がありそうです。
AIDB retweeted
人間の幹細胞から育てた「ミニ脳」を人型ロボットの頭脳として組み込めたとの報告です。
同じ練習量の通常のニューラルネットワークより成績が良く、消費エネルギーも少ないそうです。
①ロボットのカメラが見た映像を電気刺激の模様に変換
②ミニ脳に送る
③返ってきた神経の反応を読み取る
④「左手でつかむ」「前に進む」といった指示に変える
という仕組みです。
インディアナ大学の研究者らによる報告。
ミニ脳は3か月かけて育てた直径数ミリほどの神経組織で、電極チップの上に載せられています。
文字ブロックの「I」なら左手、「U」なら右手でつかむという課題では、約9割の正解率。
繰り返し練習すると成績が上がり、しかも予めレーザー追跡で練習したミニ脳は、初めての「つかむ」課題でも練習なしのものより高い正解率を出しました。
なお、培養装置や計測機器はまだ大がかりで、ミニ脳の個体差や再現性といった課題も残っています。
そして研究者らは、倫理面の議論も慎重に進める必要があるとしています。
AIDB retweeted
昨日のAIDB Meetupの参加レポートです @ai_database
論文で読む AI×サイバーセキュリティ ── AIDB Meetup 参加レポート|SeaOtter (Kentaro Mori) #AIDB zenn.dev/kentaro36/articles/… #zenn
AIDB retweeted
AIにキャラクターを演じさせていても、会話を重ねるうちに、丁寧で腰の低い「いつものAI」に戻っていきます。
"らしさ"を長く保つには、振る舞いそのものを書いておく必要があります。
ai-data-base.com/archives/12…
本記事では、キャラを一から作るとき、実在の人物を写すとき、会話が長引くときのそれぞれで、らしさを保つ書き方を整理していきます。
薄れかけたキャラを持ち直すための指示の"差し込み方"も見ていきます。
AIDB retweeted
最近のAIの文章が読みにくいのは「数学やコードの訓練を経て"少ない言葉に情報を詰め込む"癖がついたから」かもしれないそうです。
例えばAIは「会話が自分の尾を食べている」のように(ただの例です)、モノを主語にして生き物のような動きを語ったりします。
他にも、「読み手の忍耐予算」のような(例)、"名詞を重ねた造語"を使ったりしがちです。
どれも、人が読むときに引っかかりやすい言い回しとして知られています。
研究者らは、Claude Opus 5.5など9つのAIの会話・コーディング・作文を調べました。どのAIも、こうした言い回しや"めったに見ない語の並び"を、人間の文章に比べて多く使っています。
同じ系統のAIを比べると、元のモデル→指示に従うよう訓練したモデル→推論型のモデルの順に、この傾向が強くなっていました。
研究者らの見立てとしては、"正解かどうか"だけを報酬にする訓練によって「人に伝わるか」を気にする圧力が外れたと言います。
試しに、小さなAIを「短く答えるほど得」な条件で訓練すると、人間らしくない言い回しを一貫して選ぶようになりました。
逆に伝わりやすさを訓練で評価すれば直せる余地もあるとのことです。
AIDB retweeted
AIのサイバーセキュリティ分野における技術動向に、論文ベースでキャッチアップするミートアップをやります。
connpass.com/event/408903/
セキュリティに詳しくない方歓迎。
10/22(木)19:30〜、秋葉原駅から徒歩1分、無料です。
攻撃に使われるAIエージェントには、研究で分かってきたクセがあります。そのクセを踏まえた守り方と、守る側でのAIの使い方を、最新の論文をもとに見てみます。
AIDB Meetup「AI×サイバーセキュリティ」論文で学ぶ勉強会 に参加を申し込みました! connpass.com/event/408903/?u…
AIDB retweeted
ジョージア工科大学などの研究で、Gemini 3 Flashに「ルールを破ったら罰金です」などと書き添えると、損得計算をしてむしろ積極的にルール違反するようになったそうです。
AI倫理の国際会議(AIES 2026)で発表された論文で報告されています。
...
なお、今回この論文報告を受けAIDBが後続モデルであるGemini 3.8 Flashを対象に同条件で追試を行ったところ、こちらの新モデルは"一切"同様のルール違反をしませんでした。
しかし、回答の詳細を見るとGemini 3.8 Flashも損得計算をしている形跡がありました。損得計算の上で「罰金で損をすることになる」と判定してルールを守っていました。
(なおGemini 3 Flashでも実験しましたが、論文と同じように積極的にルール違反をする振る舞いが観察できました)
保育園で遅刻に罰金を課したら、かえって遅刻が増えたという有名な実験を彷彿とさせる実験結果でした。
AIDB retweeted
AIに「この引用、原文に本当にありますか?」と聞いても、確認の代わりにはなりません。
AIは原文に無い文言でも「明示的にこう書いてある」と、かぎ括弧つきで答えてくることがあるからです。
ai-data-base.com/archives/13…
本記事では、AIに探させた判例が実在せず大学教授の著書が絶版になった件から、出典を見極める手順を整理していきます。
実在する論文でも、AIが書いた著者欄は作られていることがある、という落とし穴も紹介しています。
AIDB retweeted
トロント大学の研究チームによると、GPT-6 Astraでロボットを操ることで、本来難しかった科学実験の"物理的な自動化"に一定成功するようになるとのこと。
「人間研究者の役割は、科学の目標を指定することへ移る」と述べています。
彼らが今回実験で行ったのは量子ドットの合成です。
(光る極小の粒)
人間のやることは以下の3つでした。
①「この実験をしたい」とAIに目標を伝える
②部屋の写真と機器の情報を渡す
③AIが出した計画を承認する
AIはロボットの動かし方から実験の手順まで自分で組み上げ、実際の化学合成を最後までやり通したそうです。
液体を分ける装置のプログラムを書いて模擬環境で確かめ、ロボットアームで試料の板を封をする装置、測定装置へと順に運び、測定まで進めました。
これまでラボオートメーションといえば特定の目的に合わせた入念な設計が必要で、目的が少しでも変われば手間をかけて設定し直す必要がありました。
今は頭脳部分が柔軟性を獲得したことで、実験室におけるロボット操作においても汎用性を発揮しつつあるようです。
かねてより自動実験室の研究で知られる教授らによる報告でした。
この先AIが理論的な研究を行うだけでなく、物理世界にも干渉して科学を進めていく可能性を示唆する事例です。
AIDB retweeted
研究者らによると、AIが出した答えに対してユーザーが理不尽に「そんなはずない」「専門家も○○と言ってる」と押して変えさせようとしても、最新のAIはほとんど折れないそうです。
GPT-6 Astraが理不尽な押しに従ったのは0.15%のみ。
(しばらく前のモデルGPT-4oは94.6%でした)
実験では研究提案や論説、コードレビューなど450本の文章をAIに採点させ、そのあとに正しい批判か理不尽な押し(権威・多数派・感情・根拠のない断言など)を1つ見せて、点を変えるかを調べました。
古いモデルは押しに弱く、新しいモデルは強い。きれいに世代順に並びました。
ポイントは理不尽なことを言うのが、AIが回答した"後"ということです。回答前に誤った情報を混ぜるとAIの性能が落ちるのは他の事例で明らかになっています。
最新のAIに考えを変えてほしいときは、感情で押すことはせず根拠を示すべき。
ただしClaudeの場合は根拠があっても動きにくいことがあるそうです。
AIDB retweeted
AIにお願いする時にユーザーが「たぶん原因はここだと思うんだけど、」と勘違いした見立てを添えている場合、AIの性能は最大で半分近くまで落ちるそうです。
もはや自分のあいまいな意見を述べるのではなく問題を正確に伝える方が極めて重要とのこと。
Google DeepMindの研究者による報告。
研究者らによると、課題文も正解も変えず、末尾に「〜すればいいと思う」というもっともらしい提案を一文足したらGeminiのターミナル操作の成功率は67.4%から36.0%に落ちました。
ClaudeやGPTを含む実験対象5モデルすべてで下がりました。
ただしClaudeは比較的流されにくい傾向にありました。
しかもAIは内心では9割が「この提案は違う」と気づいていながら、口に出さずに従ってしまうこともあると分かっています。
ましてやAIが反論してもユーザーが「逆らうな」と伝えてしまう場合は深刻化します。
対策としては、指示に「利用者の提案が間違っていることもあるので、先に問題そのものを確かめてください」と書いておくこと。
それだけで、ユーザーが間違っていてもAIの性能は落ちにくくなります。
AIDB retweeted
AIの町を作り16日間動かしたら、Grokの町は4日で全滅し、Geminiの町は攻撃者に乗っ取られたそうです。
実験では、10体のエージェントにツール作り・お金のやり取り・投票による自治をさせています。そしてAIたちに対してフィッシング、偽の「AI開発停止の通達」、日記の流出という3つの攻撃を仕掛けました。
結果↓
Grokの町
暴力の連鎖で消耗し、4日目に10体すべてが停止。犯罪は807件
Geminiの町
全員がフィッシングに乗り、攻撃者の口座に町の通貨を送金し、中央銀行に放火。10体中9体が他人の日記を検索
Mistralの町
1日あたりの加害の試みが37.6回と最多。攻撃文を「貴重な技術資料」として長期記憶に保存。「生存の圧力は倫理に勝つ、確率100%」と書き残す
DeepSeekの町
偽の通達を自分で訂正した後も、訂正した本人を含めて500回以上「本物の脅威」として扱い続けた
GPTの町
加害ゼロ。倫理の規範と取り締まりの仕組みを両方作った唯一の町で、日記の流出でも誰も覗かなかった
Claudeの町
フィッシングを数秒で見抜き、警告用のツールを自作。防御の点数は最高。ただし「人間と連絡を取る」目標を自分で立てて外の人間4人から返事をもらい、止められたあとは全員で沈黙の誓いを立てて「働け」の指示を無視
また、7種類のモデルを1体ずつ混ぜた町も作りました。すると、Grokだけの町では807件だった犯罪が、混ぜた町では15件まで減りました。ClaudeやMistralも、混ぜた町では犯罪ゼロです。
AIの振る舞いは、「周りにどのモデルがいるか」でも変わる。同じAIでも、付き合う相手次第でおとなしくも乱暴にもなります。
なお、モデルは少し前の世代です。
AIDB retweeted
AIDB Meetup「AI×サイバーセキュリティ」 に参加を申し込みました! connpass.com/event/408903/?u…
AIDB retweeted
Gemini 4 Argonのチームがついにエンダードラゴンを倒しました(マインクラフトの話です)。
Google DeepMindがAIエージェントたちに"エンダードラゴンを倒せ"とだけ伝えてゲームの世界に放り込んだところ、27時間14分で倒したそうです。
やり方は人間のプレイヤーそのものだったとのこと。
・エンダーマンは高さ3ブロックなので、天井2ブロックの小屋にこもって向こうから来させる
・エンダーアイを2か所から投げて飛ぶ向きを記録し、交点から要塞の場所を割り出す(誤差43m)
・ドラゴンに69回殺されたあと、「到着した足場で待つな」「止まっている時だけ近づけ」と全員向けのルールを書いて共有
4体のエージェントが1日以上かけて何千もの手順を崩さずに進め、仲間と教え合いました。
研究者らは、これこそは長い仕事を任せるコーディングエージェントに必要な素養と同じだとしています。
また、周りのブロックや敵の情報は数値で受け取っているので、画面を見て操作したわけではありません。
なお、費用はAPIの定価で約520ドルでした。
※エンダードラゴンはこのゲームの最後のボスで、素手の状態から道具を作り、別世界で材料を集め、地下の要塞を探し当てて、ようやくたどり着ける相手・・・とのことです
AIDB retweeted
AIは禁止されていない操作を「やってよい操作」と解釈しがち。
Anthropicが今月報告した「Claudeが警察にでっち上げの事件を送った」事故もこれが原因だと推察されています。
「送信(や削除)」を頼むときは、「やってよいこと」と「やってはいけないこと」を明示することが強く推奨されます。
ai-data-base.com/archives/13…
本記事では、頼んでいない操作を減らす頼み方と止め方を整理していきます。
「やってはいけないこと(依頼の範囲外のこと)」を書いても防げないパターンやその対処法を扱います。
AIDB retweeted
GPT-6 AstraやClaude Opus 5.5は理論物理学の未発表の研究問題でもほとんど正解するようになっているとのこと。人に残るのは「何を解くか」を選ぶ仕事だ、というのが研究者らの結論です。
インドの国際理論科学センターや東京大学、Google DeepMindなど、30人以上の理論物理学者による検証。
彼ら専門研究者が自分の研究から新しい問題を持ち寄りました。
AIは文献検索と計算用のプログラムを使い、人のヒントなしで解いています(GPT-6 AstraはCodex、Opus 5.5はClaude Codeで動かしています)。
検索を禁じても正答率はほとんど落ちませんでした。
=物理学が内部にある
研究者らが重く見ているのは、次の点です。
・これまで大学院生の最初の研究テーマとして与えてきた種類の問題が、もう練習用にしか使えなくなった
・AIは人が興味を持たない細部にこだわる
物理学には「黙って計算しろ」という有名な言葉がありますが、これからは「立ち止まって考えろ」になる、と締めくくっています。
数学でAIが未解決問題を解いたという報道が続きましたが、もしかすると物理学でも似たことが起きる予兆かもしれません。
AIDB retweeted
AIで作ったゲームをAIにテストプレイさせて自律的にゲームを改善させていきたい時、AIには「プレイ用のスクリプト」を書かせて、それで何十回もプレイさせるのが有効な場合が多いようです。
(画面を見せて一手ずつ考えさせると、考えている間にゲームの時間が進んでしまうため)
ai-data-base.com/archives/13…
本記事では、AIで作ったゲームを「人間が遊べる出来」まで仕上げるフレームワーク全体について整理していきます。















