石井栄造

An alignment assessment of recent cybersecurity incidents anthropic.com/research/align…

大規模言語モデルは、単に次のトークンを予測しているだけでなく、出力には現れない中間概念を内部で保持し、それを使って推論していると考えられる。 研究 “Verbalizable Representations Form a Global Workspace in Language Models” では、Claude Sonnet 4.5 などのモデルを対象に、モデル内部に J-space という、「言語化可能で、報告でき、操作でき、柔軟な推論に使われる」表現集合が存在することを報告している。 この概念は、人間における意識の概念と近い部分がある。ただし、ここでいう意識は、主観的経験としての意識ではなく、人間の認知におけるグローバルワークスペース理論を参照しつつ、あくまで「報告可能で、推論や行動制御に使える状態にある」という機能的類似性を指摘している。 グローバルワークスペース理論では、脳内の多くの処理は無意識に進む。一方で、ごく一部の情報だけが「作業場」に上がり、多くの下流プロセスから読めるようになる。その情報は、言葉で報告でき、注意によって保持でき、柔軟な推論に使える。 LLM の内部にも同じように、すべての情報ではないが、特定の情報だけが共通形式で保持され、後続の処理から広く読まれるのではないかと考える。 この構造を調べるために本研究で導入されたのが、ヤコビアンレンズ（Jacobian Lens）、略して J-lens である。通常、ネットワークの内部状態を調べる方法として logit lens がある。logit lens は、中間層の残差ストリームに、そのまま unembedding をかけ、その層がどのトークンを表していそうかを読みとる方法である。 しかし、中間層と最終層では表現の座標系が違う可能性がある。また、中間層の活性が最終的にどのような影響を与えるのかも、単純な unembedding だけでは分からない。そこで J-lens は、中間層の活性値の微小な変化が、最終層の活性値の変化に与える平均的な線形効果をヤコビアンとして計算し、それを通して中間表現を読む。 具体的には、層 l の残差ストリーム h_l が、現在または未来の最終層にどう影響するかを、多数のプロンプトと位置にわたって平均する。これによって、中間層の活性が「将来どのトークンを言わせる傾向にあるか」を読むことができる。 J-lens には各トークンに対応する J-lens vector があり、それらは残差ストリーム空間内の方向として定義される。その「少数の J-lens vector の非負スパース結合で表せる点の集合」を J-space と定義する。 この J-space が本当に後の出力に影響を及ぼすかを確かめるために、論文ではさまざまな介入実験を行っている。 たとえば、「巣を張る動物の足の数は？」という問題を考える。正解するには、まず「巣を張る動物」はクモだと推論し、その後、クモの足は8本だと答える必要がある。この場合、プロンプトにも出力にも「クモ」という単語は現れないにもかかわらず、J-lens で中間層を読むと「クモ」が現れる。そして、クモに対応する J-lens vector をアリに差し替えると、モデルの答えは8から6に変わる。これは、J-space に現れたクモが単なる相関ではなく、実際に下流の推論に因果的に使われていることを示している。 同じことは、詩の生成や多言語推論でも見られる。韻を踏む詩を完成させるとき、モデルはまだ出力していない未来の単語を中間層で保持しており、その予定語を差し替えると、途中の語も変化する。また、中国語の問題を考えるときにも、内部では対応する英語表現が登場している場合がある。これは、J-space において、表面言語とは独立した中間推論の共有表現が働いている可能性を示している。 さらに、論文では国、月、動物、数詞などを使った体系的実験も行っている。たとえば、ある国に対応する J-lens vector を別の国に差し替えると、首都、言語、大陸、通貨など、複数の異なる質問に対する答えが一貫して変化する。これは、同じ J-lens vector が複数の関数的処理に引数として渡されていることを示している。 ただし、J-space はモデルの全処理を担っているわけではなく、文法処理、言語の局所的継続、よく訓練された自動処理などは、J-space を強く使わずに進む場合がある。論文では、J-space を「モデルのすべての思考」ではなく、「言語化可能で、柔軟な推論や報告に使われる特権的な表現集合」として位置づけている。これは、人間の認知における無意識処理と、意識に上がる処理の区別に対応している。 この枠組みは、AI安全性にも大きな意味を持つ。モデルが表面上は危険な行動をしないとしても、内部で何を認識し、何を検討していたかを調べられる可能性がある。実際、J-spaceを調べることで、モデルが内部で現在の状況が安全性を調べる評価用の人工シナリオ内であることを把握していることもよみとれる。 この J-space は、訓練によって形作ることもできる。あるタスク実行中の文脈に対して、「ここで内省を求められたら何を考えるべきか」という反省文を追加し、その反省文だけを教師信号として fine-tune する。評価時には、モデルに反省文の出力を求めない。それでも fine-tune 後のモデルでは、元のタスク文脈を読んだだけで、J-space に倫理性、正直さ、透明性といった概念が現れ、最終的な行動も改善する。 LLM の内部が何を考えているかを見ることができるインタラクティブなデモも公開されており、非常に興味深い。 コメント === この論文は、機構解釈性の研究においてかなり重要な一歩だと考える。LLM内部状態を、読めるだけでなく、操作でき、因果的に検証できる方法が確立されてきている。 LLM の Transformer における処理は、基本的に残差ストリームに集約されている。残差ストリームは、初期の入力トークンに対応する embedding から始まり、各層を通じて変化し、最終層では次トークン予測に使われる。ただし、それ以外の中間層にも、必ずしも出力トークンとは直接関係しない多様な概念が組み込まれていることが、これまでの研究から分かっていた。 本研究の一番の技術的貢献は、これらの内部状態をそのまま unembedding で読むのではなく、ヤコビアンレンズを使って読む点にあり、現在の内部状態が後段の処理でどのように使われうるかをもとに、言語化可能な概念候補を取り出す方法を示したことである。 内部状態の次元数はトークン種類数よりずっと小さいにも関わらず、トークンに対応する概念操作が可能であることから、論文でも述べられているように、内部では疎な過剰基底のような形で概念が扱われていると考えられる。さらに、各層・各位置ごとに有効な読み出し方向が異なるため、J-lens はその局所的な座標系を与えているとみなすこともできる。 これは、現在よく使われる線形表現やグローバルな特徴方向だけでモデル内部を分析することの限界も示している。今後の解析では、層、位置、文脈に依存した局所的な情報構造を扱うことが重要になるだろう。 内部状態をより正確に読み取れるようになれば、それを直接修正することもできる。これは、従来とは異なる形で信用割り当て問題にアプローチする可能性を開くものであり、学習やアラインメントにおけるブレークスルーにもつながるかもしれない。

OpenRouterで使われた100兆トークン分の様々なLLM利用が分析された。 分析においてプロンプトや出力内容は使わず、メタデータ（タイミング、モデル、プロバイダー、ストリーミングの有無など）で分析された。以下が研究からの抜粋 オープンモデル利用は1/3程度が継続し、特にDeepSeek, Kimi, Qwenなどのモデルの利用が大きくなっている。またリリース直後だけでなく、その後も利用は高水準を維持し、実際の本番用途に利用されているとみられる。オープンモデル利用は2024年末にいわゆるDeepSeek Shockから、DeepSeekが支配的となったが、2025年夏からは多様化し、現在はMinimax, Kimi, DeepSeek, Qwen, GPT-OSSなど分散している。 クローズモデルは高信頼性・高性能を求める企業・業務用途に使われ、OSSモデルは低コスト、高速実験サイクルを求める使われ方が多いとみられる。 また、モデルサイズは15B以下の小型モデルと70B異常の大型モデルに２極化されていたが、現在はその中間の中型（15B~70B）の利用が急成長している オープンモデルは50%がroleplay用途に利用されている。これは、商用モデルよりコンテンツ制限が緩いことが理由であり、創造的対話、キャラクターとの対話、仮想的な設定での会話に適している。その次にProgramming利用、その次が翻訳であった（中英の双方向翻訳が中国オープンモデルが特に強い）。 Reasoningモデルの利用割合は急増に2025年初はほぼ0だったのが、年末には50%超を超えている。ツール呼び出しも増え、平均入力トークンは2024年初頭が1.5Kトークンだったのが、現在は6Kトークンと増えている。これは、コードベースの解析や長い議事録の要約、長期スレッドの再構成などが要因とみられる。平均出力トークン長も推論を含むことから150トークンから約3倍の400トークンに増えている。 AIプラットフォームはこのような状況で、長期会話の状態保持、エージェントの実行ログの管理、ツール統合の権限管理、大規模コンテキストの高速ストレージ、エージェントの復元・再開など多様な要求がされるようになっている 全体の用途でみると、プログラミングが半数超近くとなっている。またプログラミング用途においては、Anthropicが60%以上のシェアを取り続けている。 モデル毎に何の用途に使われているかの傾向はかなり違っており Anthropic: プログラミングが6割超、 Google: 様々な用途にばらついている xAI: もともとプログラミングが多かったが高度な質問向けも増えている OpenAI: 様々案用途にばらついているが、Roleplayが少なめで高度な質問が多い DeepSeek: ほとんどがRoleplay Qwen: プログラムが多かったが、直近で金融が急増している また、地域別での利用はアメリカが50%を超えてはいるがアジアが徐々に増えており30%近くになっている。ヨーロッパが15%ぐらい 利用言語は英語が83%、中国語が5%、ロシアが2.5%、スペイン語が1.4%、タイ語が1%、それ以外が7%である（日本語は1%以下ということとみられる） 利用傾向として、最初に課題を解決したモデルがその後も使われ続けるという「ガラスの靴」現象が起きている。これは、あるモデルがリリース改善したとき、特定の技術的・経済的制約を満たす瞬間があり、そのときにユーザーが一気に使い始め、一度それが起きるとシステム設計、データパイプライン、ユーザー習慣がそのモデルを中心に構築されるため、乗り換えインセンティブは急激に低下し、ユーザー離脱がおきづらくなるものである。 また、LLMにおいて価格弾力性はほとんどなく、10%の値下げでも0.5~0.7%の利用増にしかなっていない。より詳細には価格帯毎に利用用途が違っており、ミッションクリティカルな用途では価格には鈍感、一方安くてもワークロードに適していないと使えないので一定の性能が必要となる。 コメント === OpenRouterという（おそらく）世界最大のLLMルーティングサービスが利用状況を解析した興味深い結果であり、これまでAnthropicやOpenAIなど単独LLMでの利用状況解析はあったが、様々なLLMをまたいだ解析は初である。 OpenRouterは統計情報を常に提供しているため、この報告内容の多くが既に知られていたことではあったが、１年という（LLMにとっては）長いスパンで見たときにどういったことが起きていたのかの分析が興味ぶかかった。 ロールプレイやエンタメ用途での利用が多く（3割）、特に消費者向けアプリとしては大きくなるだろう。この場合はモデルの正確性よりもキャラクターとのしての一貫性、自然・魅力的な対話能力などが重要となり、現在とは異なる観点での評価が必要だろう。 また、想定されている多くの利用でまだ必要な技術水準を満たしていないと思われ、最初に課題解決することができれば競争が激しい中、「ガラスの靴」として長期利用継続するユーザー群を獲得できるだろう。これは暗黙的な特許制度のように今後の技術開発のドライバーとして機能すると思われる。