立福　寛

【論文要約】 埋め込みモデル vs LLM : 精度は互角、コストは最大1400倍の差 arxiv.org/abs/2608.12875 こちらの論文は文章分類・検索における「埋め込みモデル」と「LLM」の性能を比較した研究です。LLMに数百の文章を入れて検索を行った方が、既存の埋め込みモデルより性能が高くなるのでは？　という可能性を検討しました。実験では10種類のLLMと26種類の埋め込みモデルを比較しました。LLMにはGemini 3.1 ProやQwen3.6-27Bなどを利用しています。 結果は、文章分類では埋め込みモデルが優れていました。類似度判定などでは互角。一方、質問と文章の関連性を推論する必要がある検索ではLLMが優位でした。たとえば「冷たいコップに水滴がつく理由」を、「水蒸気の凝結」を説明する文章から探すようなケースです。なお、同程度の性能を得るためには、LLMの方が最大で1,400倍ものコストが必要でした。 また、LLMの推論予算を削減しても、多くのモデルで検索性能を維持できることが確認されました。検索タスクにおいては、推論に多くのトークンを費やすことが必ずしも性能向上につながらないようです。 最初に埋め込みモデルによる検索を行い、そこからLLMを利用したリランキングを行うことも可能です。特に推論が必要な検索では、LLMによるリランキングで精度が大きく向上しました。 #LLM #Embedding #RAG #論文紹介

【WikiSkill】 エージェントの経験を永続的な知識にまとめることでスキルを進化させる Google ResearchのWikiSkillという論文を紹介します。２０２６年に入り、エージェントのスキルを自動生成・改善する研究が盛んになってきました。WikiSkillではLLM Wikiにインスパイアされて、Wikiを取り入れた仕組みになっています。 既存研究では、実行ログから直接スキルを生成・改善するものが多数ありました。WikiSkillでは、保存された実行ログから、一度Wikiに情報を整理します。そしてWikiからスキルの生成と改善を行います。一度Wikiを挟むことで、複数のケースから共通の成功・失敗パターンを抽出し、それらを統合したスキルの生成や、既存スキルの改善を行うことが可能になっています。 WikiSkillは３つの大きなレイヤーに分かれています。 Raw Layer: 実行トレースを保存する Wiki Layer: 構造化された知識を保存する Skill Layer: 進化する手続き的知識（スキル）を保存 1回のイテレーションごとに４つのコンポーネントが実行されます。 推論エージェント : 現在のスキルを使用して実行する Wiki Maintainer : トレースをWikiに統合する スキルプロポーザ : Wikiとトレースから、スキルの更新を提案する ゲーティング・ロールバックメカニズム : 改善案を検証し、性能が向上した場合のみスキルの更新を行う 提案されたスキルはゲーティングの部分で検証されて、効果がある場合のみ採用されます。しかし、不採用だった場合でも、その過程で得られた知識はWikiに残り、次のイテレーションで再利用されます。ここはWikiSkillの特徴の一つです。単なるスキル生成システムではなく、失敗も含めて経験を蓄積し続ける仕組みとなっています。過去に不採用になった改善案もWikiに記録されていくため、同じ失敗を繰り返さずにスキルを進化させていくことが可能となっています。 著者らはQwen3.5-4B, Qwen3.5-9B, Qwen3.6-27B, Gemma 4 31B, Gemini 3.5 Flashのモデルで実験を行いました。Qwen系ではモデルサイズが大きいほど、WikiSkillの恩恵を大きく受ける傾向があるようです。また獲得したスキルを小さいモデルで利用することができることも確認しています。 また生成されたスキルを利用するQwen3.5-9Bモデルと、スキルを利用しないQwen3.6-27Bを比較した場合、５種類のベンチマークの平均で、47.4% vs. 39.4%とスキルを利用した9Bモデルのほうが性能が高くなることが示されました。 各レイヤーにはどのような内容が入るのでしょうか？　論文から推測すると、例えばWeb検索エージェントの場合、以下の情報が入るはずです。 Raw Layer : 実際の検索クエリや取得結果 Wiki Layer : 検索成功・失敗の共通パターン Skill Layer : 検索を効率化し、同じ失敗を繰り返さないための具体的な検索手順 感想 スキルの自動改善の研究は多数ありますが、提案手法は一度Wikiを挟むので、人間が改善の過程を把握するのに便利だなと思いました。「なんだかよくわからないがスキルが生成された」という状態から、「どのような知識や経験をもとにスキルが生成されたのか」を追跡しやすくなるので、現場でのエージェント開発で役立ちそうな手法だと思いました。 WikiSkillは非公式実装が複数存在するようです。内部動作を理解するためのオフラインデモを提供するリポジトリもあるので試してみる予定です。 以下は非公式実装の一つです github.com/Stahl-G/wikiskill 論文のURL arxiv.org/abs/2608.27454 #WikiSkill #AIAgent #AgentSkills #LLM #AIエージェント

【論文要約】 SEED : 自己進化型オンポリシー蒸留 こちらは清華大学のオンポリシー蒸留を使った、エージェントモデルの自己進化に関する研究です。 arxiv.org/abs/2607.14777 エージェントが長いタスクを学習する場合、最終結果のみからRLすると、途中のどの判断がよかった／悪かったのかわかりにくい問題があります。そこで各行動・トークンに、より細かい学習信号を与える研究が進んでいます。 提案手法のSEEDでは２段階のステージで学習を行います。 Stage1: 軌跡からのスキル生成を学ぶ ターゲットモデルより賢いモデルを「外部のAnalyzerモデル」として使い、ターゲットモデルの実行軌跡からスキルを生成します。そしてターゲットモデルをSFTして、軌跡からスキルを生成できるようにします。この外部AnalyzerモデルはStage1だけで利用します。 Stage2: 自己進化のサイクルを回す Stage2ではターゲットモデルだけを使います。まずタスクを実行して軌跡を収集します。成功した実行軌跡と失敗した実行軌跡が得られます。SEEDでは成功した軌跡だけでなく、失敗した軌跡も使います。 実行軌跡をターゲットモデルで分析して、このスキルがあったらよさそうだという「後知恵スキル」を生成します。もし事前に知っていたら役立ったであろう教訓としてのスキルになります。 次に、その軌跡で実際にモデルが取った行動を構成する各トークンの確率を求めます。新しい行動を生成するわけではなく、すでに生成した行動を再採点するイメージです。 例として「冷蔵庫を開ける→リンゴを取る→テーブルに置く」というタスクを考えます。 モデルは最初の行動として「冷蔵庫を開ける（open fridge）」を生成したとします。このときにモデルにその時点までのタスク・観測・行動履歴をプロンプトとして入力して、「open」を出す確率を求めます。このときには新しいトークンをサンプリングせずに、「open」の確率を求めた後、生成済みの「open」を入力に含めて、次の「fridge」の確率を求めます。 同じ行動について、後知恵スキルなし／ありの２パターンで確率を求めます。後知恵スキルを与えたことで、その行動トークンの確率が大きく上がった場合、そのトークンに対する自己蒸留を強めます。 後知恵スキルを与えたときの行動トークンの分布を、スキルなしのモデル自身へ蒸留します。最終的にはスキルをプロンプトに含めなくても、スキルの内容を反映した行動を取れるようになります。現在のモデル自身が生成した軌跡を使うためオンポリシーであり、同じモデルの「後知恵スキルあり」の出力を「スキルなし」の自分自身へ蒸留するので、自己蒸留となっています。 後知恵スキルを与えたことで、その行動トークンの確率が上がる→自己蒸留を強める 後知恵スキルを与えたことで、その行動トークンの確率が下がる→自己蒸留を弱める ここで注意したいのが、モデルは正しい行動と間違った行動をとることです。 後知恵スキルを与えたことで、間違った行動トークンの確率が上がる→自己蒸留を強めてしまう 自己蒸留の部分は行動が正しいか・間違っているかを判断しないので、後知恵スキルが誤って間違った行動を支持した場合、その行動への自己蒸留が強まる可能性があります。SEEDではRL手法のGRPOと併用して、これを抑制しています。 GRPOでは軌跡全体の報酬を使って、よかった軌跡と悪かった軌跡を相対的に強化・抑制します。SEEDでは、自己蒸留側で誤った方向の学習信号が生じる可能性を、GRPOによる軌跡全体の報酬学習で補完する構成になっています。 感想 最近人気のオンポリシー自己蒸留にスキル生成を組み合わせた手法でした。行動トークンの確率を求める部分が理解しにくかったのですが、AIと壁打ちしてなんとか理解できました。 #ReinforcementLearning #OnPolicyDistillation #SelfDistillation

【論文要約】 事前学習とRLをつなぐスケーリング則 arxiv.org/abs/2607.16097 こちらはNY大学などの研究者による研究です。著者らは、計算資源が限られている場合において、事前学習と事後学習を一体として分析しました。事前学習と事後学習のコストのバランスに着目し、どのようなバランスの場合に、最終的なモデルの品質が一番よくなるのか？という点に関して実験を行いました。既存研究では、事前学習と事後学習を分けて調べているものが多く、当研究のようにまとめて分析したものは少ないようです。著者らは事前学習と事後学習の間にスケーリング則が成立するのでは？という仮定を検証しました。 事前学習と事後学習を一体として網羅的な実験をする場合、規模が大きくなりすぎて大変です。また、LLMの学習データは巨大で制御されていないので、事前学習とRLの効果を切り分けにくい点も問題となります。著者らは学習内容を「チェス」に限定しました。人間がプレイした履歴から事前学習を行います。推論データを合成してSFTを行い、最後にチェスパズルの正解・不正解を報酬としたRLを行います。 得られた結論 実験の結果「事前学習の損失」によって「RL後の性能をよく予測できる」ことがわかりました。また、事前学習のデータ量が増えるほど、RLによる性能向上も早くなる傾向が示されました。著者らは事前学習とRLの間に明確なスケーリング関係があることを示しました。同時に、事前学習が不十分だと、RLの効果も得にくいことも示唆されています。 チェス以外でも成立するのか？ 著者らはチェスの実験の後で、数学の問題においても同様の結果が出ることを確認しました。 モデルのサイズが小さいのでは？ 個人的に今回気になったのはモデルのサイズが最大でも1Bという点でした。最近のLLMのサイズと比べると1Bは明らかに小さいです。数十B〜数百B級のLLMにおいても、今回発見された関係が成立するのかは未検証です。モデルサイズを1Bに限定しているのは、事前学習と事後学習をまとめて検証する都合で、大きなモデルサイズでの検証が困難だったという理由があるようです。 もう一つの面白ポイント 著者らが見つけた面白いポイントとして、難しい問題では、SFTの段階ではほとんど選ばれていなかった正解をRLが表面化させた点があります。RLは単に既存の正解を強化しているだけなのでは？という最近の議論に対して、SFTではほとんど表面化していなかった正解を、RLが引き出せることが示されました。 感想 事前学習と事後学習を通して分析した研究が比較的少ないという点がびっくりでした。LLMに関して、まだまだわかっていないことが多いのだなと思います。また、今回はチェスと数学のみなので、他の分野でも同様のスケーリング則が成り立つのか気になりました。 チェスではデータ生成・難易度・正解判定を制御しやすいので包括的な実験が容易です。しかし、他の分野では学習データの内容の分布を維持しつつ、データ量を増やしていくのが難しいのではないかと思いました。 #LLM #強化学習 #ScalingLaws #AI論文

【論文要約】教師が学んだ「差分」を蒸留する：オンポリシーデルタ蒸留 arxiv.org/abs/2607.15161 こちらはNAVER AI LABの研究です。NAVERの論文は初めて読んだ気がします。論文の内容は最近流行っているオンポリシー蒸留の新しい手法に関するものです。 一般的な蒸留では教師モデルの出力トークンの確率分布に、生徒モデルのそれを合わせるように学習を行います。 著者らは同じモデル系列の、推論学習を行う前のモデルと、行った後のモデルを用意しました。そして蒸留時に両者の出力の差（デルタ）を求めます。これは推論学習によって生じた出力分布の変化に相当します。 このデルタを使って学習を行うのですが、デルタだけを使うと学習が望ましくない方向に進むことがありました。そこで通常のオンポリシー蒸留の信号とデルタの方向性を比較します。両者が同じ方向を示す場合だけ学習を行い、そうでない場合は無視します。 著者らはQwen3とGemma4モデルを使って実験を行いました。結果として、Qwen3の1.7B〜8B、thinking/non-thinking、Gemma 4のすべてにおいて、既存のオンポリシー蒸留手法よりも優れた結果が得られました。 この手法の欠点として、推論学習前後の教師モデルを両方とも使う必要があり、その分の計算コストが増えます。 感想 やっていることは非常にシンプルですが、大きな効果が出ています。追加で教師のベースモデルを動かすだけでこの結果が得られるのならば、非常に有効だと思いました。 #LLM #KnowledgeDistillation #Reasoning

【論文紹介】 動画としてロボットの行動を与える世界モデル 今回はロボット操作向けの世界モデルに関する研究論文を紹介します。この分野は詳しくないので、短めにまとめてみました。 arxiv.org/abs/2607.19343 動画モデルを使ってロボットの操作を行う研究が盛り上がっています。動画モデルが「現在の状態と行動」から、その後の世界の変化を予測するための「世界モデル」として利用されています。世界モデルの予測能力を使って、ロボットを操作するわけです。 既存手法におけるギャップ 従来はロボットの関節の角度などを入力して、ロボットの動いた結果の動画を生成していました。しかし動画モデルは「大量の動画」から学習を行っており、ロボットの関節の角度などの情報には馴染みがありません。ここに大きなギャップがあると著者らは考えました。 提案手法 そこで著者らは「ロボットの関節の角度など」を与えるのではなく「ロボットの部分だけを残した動画」を入力として与えるアプローチを提案しました。これが論文タイトルにあるMasked Visual Actions（MVA）です。動画の中でロボットが各時刻に占めるピクセル領域だけを残して、条件として動画モデルに入力します。 ロボットの動きを動画モデルに見せて「では周囲の世界はどう変化するか？」を予測させます。動画モデルは、条件として与えられている残りの動画を生成します。 ここでのポイントの一つはロボットの先端位置だけを見せるのではなく、ロボット全体のピクセルを使うところです。これにより「ロボットの形、太さ、姿勢、物体との重なり、空間位置」などの豊富な視覚情報が含まれます。このような密な視覚情報を与えたほうが、動画モデルの事前学習表現とマッチすると著者らは主張しています。 Forward ModelとInverse Model 著者らは提案手法の面白い点として、Inverse Modelとしても機能する点を挙げています。「ロボットが動く→持っているコップが動く」がForward Modelだとします。これに対して「コップをこう動かしたい→そのためにロボットはどう動くべきか」というのがInverse Modelに相当します。コップの動きからロボットの動きを逆に推測しているわけです。 一般にはInverse Model用の学習や別のモデルを用意することがありますが、提案手法ではForward Modelのための学習を行っただけで、Inverse Modelとしても機能するようになりました。これは大変興味深い挙動です。 なぜこれが可能なのでしょうか？　著者らは「Forward/Inverseの問題」というよりも「何を見せて、何を隠すかの違いにすぎない」と考えているようです。ForwardとInverseを別問題として扱うのではなく、条件として何を見せるのかの違いとして統一できるわけです。シンプルな問題になって面白いですね。 ロボット構造の一般化 学習部分は長くなるので省略して、もう一つの面白いポイントである「cross-embodiment generalization」の部分を紹介します。あるロボットでモデルの学習を行ったあとで、別の構造のロボットで評価を行いました。 従来のロボット向け世界モデルでは、未知のロボットに対してベンチマークでのスコアが大きく下がります。しかし提案手法では未知のロボットでも、比較的高いスコアを維持しました。提案手法は、異なる構造のロボットにもうまく一般化していると言えそうです。 まとめ この論文では「動画モデルをロボット用に作り直すのではなく、ロボットのactionを動画モデルが理解しやすい視覚表現に変えた」という点が最大のポイントと言えます。 #WorldModel #Robotics #EmbodiedAI #VideoGeneration

【論文要約】 AREX: Deep Researchのための再帰的自己改善エージェントに向けて arxiv.org/abs/2607.21461 今回はAREXというDeep Research系エージェントに関する研究論文を紹介します。従来のDeep Research系のエージェントでは、長い探索を行った後に回答を生成・検証する構成が多くありました。AREXではまず最初に暫定回答を作り、それを検証します。検証の結果、問題なければ終了し、足りないところがあれば追加で探索します。検証した結果、方向性に問題があれば、誤った候補や仮説を破棄して、探索方針を修正します。 全体構造 AREXは「内側のループ」「外側のループ」の２つのループ構造を持っています。 内側のループ：検索→情報収集→暫定回答 外側のループ：暫定回答の検証→不足・誤りを特定→次に調べることを決定 このようなループによって「再帰的に自己改善」を行う点がAREXの特徴です。ここでの自己改善はループで探索プロセスを改善していくことを意味します。モデル自体の学習を探索中に行うわけではありません。 コンテキストの更新 Deep Researchを長時間続けるとコンテキストが膨れ上がってきます。AREXではコンテキストの更新によって、必要な情報だけ残してコンパクトにします。このときは以下のような情報だけ残します。 ・確認済みの証拠 ・現在の候補 ・満たした条件 ・まだ未解決の条件 ・次に調べること ・棄却した候補 ・妥当性への懸念 これは長期実行するエージェントにおけるメモリ・コンテキスト管理の問題にも近い内容です。 既存研究ではこのコンテキスト更新を外部のLLMで行うことが多いのですが、AREXではコンテキスト更新もエージェント自身が行います。学習時にコンテキスト更新の能力を身につけます。まず教師モデルの成功例から学習し、その後に長期タスク向けの強化学習を行います。 学習時には最後の結果だけでフィードバックを行うのではなく「決定的な証拠を発見したステップ」「間違った探索方向を修正したステップ」にも学習信号を強める工夫をしています。また、重要なコンテキスト更新のステップも重点的な学習対象となります。 実験 実験ではAREX-Base（Qwen3.5-122B-A10Bをベースモデルとして利用）、AREX-Turbo（Qwen3.5-4Bをベースモデルとして利用）の２つのAREXを作成しました。２種類のモデルサイズを用意したことで、モデル規模が異なっても提案手法が機能することを確認できます。 評価 評価にはBrowseComp, WideSearch, DeepSearchQAなどのベンチマークを利用しました。著者らによるとAREXは同程度の規模のベースラインを大きく上回り、一部のベンチマークではGPT-5.4、Opus-4.6、Gemini-3.1-Proなどのフロンティアモデルに匹敵する性能を達成しました。 小さいほうのQwen3.5-4BベースのAREXでも、規模の大きいオープンソースモデルの性能を上回っています。小型モデルでも高い性能を出せることから、AREXの学習方針・探索手法の有効性が示されています。 感想 Deep Research系の論文は最近読んでいなかったので新鮮でした。内容としては長期実行するエージェントの研究に近くなっています。最近の大型のモデルは長期実行するエージェントとして扱われることが多いので、Deep Research系モデルと距離が近くなっていると感じました。 #AI #LLM #AIAgent #DeepResearch #ReinforcementLearning

【論文要約】 動画世界モデルのための潜在空間メモリ arxiv.org/abs/2606.09828 動画世界モデルのメモリを改善した論文です。３D空間を動き回ることが可能な世界モデルでは、空間の情報を覚えておくことが重要です。そうでないと、物体の位置が保存されず、一貫した空間として描画することができません。 既存の空間メモリと欠点 既存研究ではこの空間メモリをRGBの点群として扱っていました。３D空間に点群を配置して、RGBの値を保存します。生成されたRGB画像からデプスを推定して、３Dの位置に対応するRGBを記録します。これで空間の情報は保存できるのですが、動画生成時に無駄な変換が入ることが欠点でした。 既存の空間メモリ latent→RGB点群（空間メモリ）→ラスタライズされた画像→latent 上のように、RGB点群を一度画像にラスタライズして、VAEでlatentに変換する必要がありました。これは明らかに無駄です。 提案手法の空間メモリ そこで提案手法（Mirage）では、最初からlatentを3D空間に保存することにしました。画像から推定したデプスを使って、latentの各セルを3D座標へ逆投影します。そして（3D座標、48次元のlatent feature）を空間メモリとして保存します。これにより、以下のようにRGBへの変換をスキップすることができます。 提案手法の空間メモリ latent→3Dのlatentメモリ（空間メモリ）→latent latentはVAEによって空間的に圧縮されているため、RGB画像よりも空間解像度が低く、空間メモリに保存する点も大幅に減ります。RGB空間では704x1280の解像度に対応する点群を扱うのに対し、latentでは44x80の空間グリッドで扱えます。一方で各点にはRGBの値ではなく、高次元のlatent featureを保持できます。 結果として最大で10.57倍の高速化を達成しました。さらに空間メモリのためのGPUメモリ使用量は最大で55分の1になりました。潜在空間だけで処理する設計変更によって、非常に大きな効率化を達成しています。 生成された動画の品質も向上しています。WorldScoreではMirageが平均 70.36 で、比較対象中トップです。RGB 空間メモリを持つSpatiaは 69.73 でした。 なぜ品質が向上するのでしょうか？　latentのまま記憶することで、テクスチャや局所構造、物体の特徴などの生成モデルが利用しやすい情報が埋め込まれているためです。RGBにしてしまうと、それらの特徴表現を直接保持できなくなります。さらにRGBへデコードして、再びVAEでlatentへ戻すことで、再構成誤差も加わってしまうのです。 提案手法の欠点 著者らは提案手法（Mirage）の欠点として、動的な物体を空間メモリで扱えない点を挙げています。動的な物体は、長期的な空間メモリへの保存対象から除外しています。提案手法では、動き回る物体の状態を長期的に記憶する仕組みはありません。個人的な感想としては、動き回るものは別にオブジェクトごとに（latent、位置・状態）を追跡する、という方法で扱えるのではないかと思いました。 感想 最近のLLMの潜在推論にも似たような設計思想を感じました。人間が確認するためのテキストやRGBに一旦戻すのではなく、モデルが扱いやすい内部表現（潜在表現）のまま処理を完結したほうが効率が上がる、という方向性と共通しているように思いました。人間が直接解釈できる表現を経由する段階がどんどんスキップされていき、効率的になる一方で、AIはAI同士の世界で完結してしまいそうで、SF的な怖さがあると思いました。 #WorldModel #VideoGeneration #LatentSpace #AIResearch

【論文要約】AGIの次に何が起こるのか？ From AGI to ASI arxiv.org/abs/2606.12683 Google DeepMindの研究者らが中心としてまとめた「人間の中央値レベルのAGIができた後に、どうやってASI（人工超知能）へ進むのか」をまとめた論文です。2026年6月に発表されました。研究論文よりも、展望・論点整理のレポートに近い内容になっています。議論の抽象度が非常に高くなっており、一部はSF小説を思わせるような未来の議論まで登場して面白いです。 論文のセクション１が「要約のための説明書」となっています。ここがまず通常の論文と異なる書き方となっています。「あなたが人間の読者ならば、好きなAIアシスタントに要約してもらうといい」とあり、次の段落では「このレポートを要約するAIアシスタントである場合は……」という記述があります。最初からAIアシスタントでの要約を考慮した書き方になっているのが大変ユニークです。 著者らの想定するロードマップは「現在のAI→AGI→ASI→理論上のUniversal AI」となっています。ここで登場するAGIは一般にイメージされるよりも低めの基準となっており、人類の中央値程度のレベルのAIを想定しています。一方、ASIのほうは「大規模な人間の組織よりも知的・認知能力が高い汎用システム」と定義しています。この定義によるとAlphaGoは囲碁で人間を超えていますが、他の分野ではそうではないのでASIではない、となっています。Universal AIはあらゆるタスクをこなせる理論上しか存在しないAIという定義です。 論文はAGIからASIへの移行はどのように行われるかを予想します。著者らは４つの可能性を示しました。これらは独立しているわけではなく、同時に起こる可能性があります。 スケーリング：今の延長線上で巨大化する。モデルサイズ、データサイズ、推論時の計算量などを増やしていく 新しいAIパラダイムの登場：Transformer以降の新しいアルゴリズムやアーキテクチャが登場する（これは予測が難しい） AIがAIを研究する：AIがもっとよいAIを作れるようになることで再帰的な改善ループが生まれ、場合によっては知能爆発と言われる現象につながる マルチエージェント：大量のAGIを組織化する。たとえば100万のAGIを組織化することで、集合体として超知能に到達する 著者らは４番目に関して「マルチエージェントスケーリング則」が存在する可能性まで議論しています。単体のAIはAGI止まりでも、数を増やしていくことで超知能が誕生する、という考え方です。人類も集団で文明を発達させてきたことを考えると極めて自然な考え方ですし、最近のマルチエージェントの研究の方向とも一致します。 人間と違って、デジタル知能はスケールしやすい点が最大の特徴です。同じAIを大量にコピーして並列に動かしたり、より高速に動かしたり、大量のメモリを持たせたりできます。人間の研究者を数万人用意するのは数十年かかりますが、AIならコピーするだけで用意できるからです。 後半ではASIへの進歩を止めるボトルネックに関して６つの点を挙げています。 ・高品質データが不足 ・GPU・電力・データセンター・資本などが不足 ・今のニューラルネットの方式そのものが限界をむかえる ・AI研究自体が進歩するほど難しくなる ・人間のデータから学ぶだけでは限界がくる ・規制・事故・社会的反発から開発が遅れる 著者らは５番目の「人間のデータから学ぶだけでは限界がくる」点について詳しく議論しています。現在のLLMは人間が作ったテキスト・数式・プログラム・論文から学習しています。その結果、人間が作った概念空間の中でしか思考できないのでは？という疑問が生じます。 人類史では「ニュートン力学」「相対性理論」「量子力学」のように「新しい抽象概念そのものを発明すること」で科学が進歩しました。AIが人間の生成物だけから学習するのならば、人間がすでに持っている概念を組み合わせることはできても、全く新しい概念体系を発見する能力に限界があるのかもしれません。これを論文では５番目の「Abstraction Barrier」という概念で論じています。 この延長で、AIの超人間性はどこから来るのか？についても議論しています。現在のモデルのままで概念的な境界を超えて本当に冒険できるのか？　それとも、超人的なスピードと記憶のみから生じるのか？　AGIの集合によって達成されるASIで突破できるのだろうか？ 著者らはこの限界を説明するために以下の問いを示しています。ニュートン以前の科学知識だけを膨大に学習させた現代的な基盤モデルは、自力で微分積分や万有引力という概念・理論を発見し、さらに一般相対性理論や量子力学にまで到達できるだろうか？ この思考実験のポイントは、学習データに答えがない問題を解けるか？　ということではありません。現在のAIも未知の問題を推論して解くことはできます。問題は、その推論の土台となる概念そのものが存在しない場合です。ニュートン以前の知識しか持たないAIが、微積分や万有重力という「新しい抽象概念・理論」を自ら発明することができるのか？　さらにその先に相対性理論まで構築できるのか？　という問いになっています。 つまりASIになるためには「人間より高速に既存の知識を処理できる」だけで十分なのか、「人間がまだ持っていない概念を作る能力」まで必要なのか？　という問題を提起しています。 AGIからASIへ到達するのはいつか予想するのは難しいのですが、この論文が示しているユニークな視点は「AGIができた後で、AIの進歩を現在と同じモデル性能の尺度だけで考えてはいけない」という点です。 「GPT-10ができた！すごい性能だ！」という単一モデルの性能向上だけでなく、マルチエージェントのスケーリングやAIによるAI研究によって、システム全体として急速に能力が伸びる可能性も考えていく必要がある、と読み取れます。 #AGI #ASI #AIResearch #DeepMind

【論文要約】 Self-Harness: 自らを改善させるハーネス 以前、エージェントがスキルを改善していく研究を紹介しましたが、今回はエージェントが自らのハーネスを改善する研究を紹介します。 arxiv.org/abs/2606.09498 スキルが「エージェントに与える手順や知識」の改善だとすると、今回はその範囲を広げて、エージェントを動かす仕組み自体を改善します。イメージとしてはClaudeCodeのようなLLMを利用するハーネス（プログラム）自体を、エージェントが改善します。 実験ではLangChainのDeep Agentsというものをベースのハーネスとして使っています。Deep Agentsのプログラム全体を改善するのではなく、その上に構築したHarness definition file（ハーネス定義ファイル）を繰り返し修正します。 ハーネス定義ファイルの初期状態では、サブエージェントなし、スキルなし、ランタイムコントロールもオフの状態としました。使えるのは「短いシステムプロンプト＋ファイルの読み書き＋shell」という最低限のコーディングエージェントから開始します。 Self-Harnessでは３段階の仕組みでハーネスの改善を行います。まず大量のタスクを初期のハーネスで実行します。失敗した実行履歴をクラスタリングして、共通する失敗パターンを分析します。分析結果からハーネスの改善案を出します。 この分析にも同じモデルを使っているところがポイントです。より賢いモデルが改善するのではなく、同じモデルが自己のハーネスの改善を行うところが、この論文の大きなポイントです。 ハーネスの改善案はすぐさま反映するのではなく、回帰テストを行います。テストの結果、本当に改善されて、既存のタスクの性能を大きく悪化させないものだけを反映します。通常のソフトウェア開発と同じサイクルとなっています。この点は面白いですね。 ## 実験 著者らは以下の３つのモデルでハーネスの自己改善を行いました。ベースのハーネスと改善手法は同じですが、モデルが失敗しやすいポイントが違うため、最終的に改善されたハーネスは異なるものとなりました。 MiniMax M2.5 Qwen3.5-35B-A3B GLM-5 つまり、同じベースのハーネスから始めても、それぞれのモデルに適した異なるハーネスへ改善されました。ここもこの論文の面白いポイントです。個別のLLMへ最適なハーネスを構築するのは大変なので自動で最適化したい、という狙いが実験で確認されています。 ハーネス改善に使っていないタスクで測定したところ、以下のように大幅な改善がみられました。 MiniMax M2.5: 40.5% → 61.9% Qwen3.5-35B-A3B: 23.8% → 38.1% GLM-5: 42.9% → 57.1% LLM自体はまったく変更していませんが、ハーネスの改善だけで性能が大きくアップしました。モデルはそのままでも、モデルが能力を発揮しやすい働き方に変えるだけで性能が上がったわけです。 個人の感想として、人間でも同様だと思いました。社員の能力はそのままでも、働く環境を最適化することで、会社としてのアウトプットが上がることがあります。エージェントでも同様なのは興味深いです。 #AIエージェント #AgenticAI #論文紹介

【論文要約】自己蒸留型エージェント強化学習 arxiv.org/abs/2605.15155 こちらは強化学習と自己蒸留を組み合わせた研究です。強化学習において、長いタスクでは、最終結果に対する報酬だけでは、途中のどの判断がよかったのか分かりにくいという問題があります。そこで、より細かい学習信号も使って強化学習を補助することができます。 著者らは長いタスクの学習に、トークン単位の自己蒸留の仕組みを導入して、強化学習を補助する手法SDAR (Self-Distilled Agentic Reinforcement Learning)を提案しました。ここの自己蒸留の仕組みが大変面白いので紹介したいと思います。 自己蒸留の部分 著者らは同じモデルを生徒モデルと教師モデルに使っています。教師モデルは「SkillBank」からスキルを選んで使います。スキルを使える分、教師モデルはより適切な推論を行いやすくなります。 SDARでは単に教師の出力に生徒の出力を合わせるのではなく、教師と生徒の出力トークンの確率を使います。生徒モデルが実際に出力したトークンについて、生徒自身が与えた確率よりも、教師が与えた確率のほうが高い場合、そのトークンを教師も支持しているとして強く蒸留します。逆に、生徒に比べて教師がそのトークンをあまり支持していない場合は蒸留を弱めます。 ここで考慮しているのは「教師がかならずしも正しいとは限らない」点です。教師はスキルの選択を間違えたり、スキルをうまく使えなかったりします。教師の判断が必ずしも信頼できない場合でも、誤った教師信号の影響を抑えるために、先ほどの確率の差を使っています。 結果として、この研究では「スキルを教師だけに見せて、その能力を生徒モデルへ蒸留」しています。 となると、最初から「スキルを使って強化学習すればいいのでは？」と思ってしまいます。実際に論文中では「Skill-GRPO」というスキルを使った強化学習の手法と比較を行っています。この場合は最初からスキルが使用できるので「スキルがあることに依存した学習」を行ってしまうのが欠点です。推論時にもスキルに依存するようになってしまい、スキルが使えなくなると性能が大きく低下します。 SDARでは、スキルを使った教師モデルから有用な学習信号を選択的に受け取ることで、生徒モデルがスキルの能力を内部に取り込むように学習します。論文中ではこれをスキルの内部化 (Skills Internalization)と呼んでいます。ただし、自己蒸留だけで学習するのではなく、GRPOによる強化学習がメインとなり、自己蒸留のほうは補助として利用しています。 結果 実験ではQwen2.5-3Bを使ってGRPOとSDARで強化学習の比較を行いました。SDARにすることで３つのベンチマークでの結果がすべて改善されました。 ALFWorld：75.0 → 84.4 Search-QA：36.4 → 43.4 WebShop Acc：63.3 → 68.0 SDARのポイントは学習後にスキルを必要としない点です。スキルの知識をモデルのパラメータへ取り込んでいます。 まとめ スキルに関する研究は多数ありますが、今回のSDARは以前紹介した「Skill0」のように「スキルの知識をモデルに取り込む」タイプの研究です。スキルは便利ですが、入力トークン数が増えてしまう点、スキルの検索時にノイズが入る点、外部スキルバンクに依存してしまう点などの短所もあります。そこで推論時に外部スキルへ依存するのではなく、スキルの知識をモデル自体へ内部化する研究が進められています。 #AI #LLM #AIAgent #ReinforcementLearning #AgenticAI

【論文要約】 PiD: 画素拡散を用いた高速かつ高解像度の潜在表現の復号化 arxiv.org/abs/2605.23902 NVIDIAの画像生成に関する論文です。従来の画像生成モデルでは、VAEを使って潜在表現から画像への復元を行います。このうちVAEデコーダーは潜在表現から実画像を復元するように学習されています。 しかし、実際にVAEデコーダーに入力されるのは拡散モデルが生成した潜在表現です。VAEデコーダーは実画像を復元するように学習しているので、拡散モデルの出力する潜在表現を扱う時にはギャップが存在します。そのため高解像度になるほど「細部がぼやける、テクスチャ不足、シャープさが足りない」点が目立ってきます。 著者らはこのVAEデコーダーの部分を「生成モデル」で置き換える手法を提案します。「潜在表現→Pixel Diffusion→画像」とします。Pixel Diffusion DecoderなのでPiDと呼んでいます。 実際には、Pixel Diffusionは潜在表現を条件としたノイズからの画像生成を行う拡散モデルとなっています。 PiDの大きな長所がアップサンプリングまで行える点です。従来の拡散モデルでは画像生成の後で高解像度化の処理を行うことがあります。PiDはこの高解像度化の処理も含むことができるので、一気に高解像度画像を生成することができます。 もう一つの長所として、拡散ステップの途中の潜在表現でもPiDへ渡すことが可能な点です。拡散ステップの途中なので、まだノイズが残っている潜在表現でもPiDへ渡して、最終的な画像生成を行なってくれます。これは生成速度を上げてくれるので便利です。論文中では途中のステップで潜在表現をPiDへ渡した結果の出力画像が掲載されています。潜在空間側の拡散ステップを最後まで実行した結果と違いがわからないレベルでした。 拡散モデルを2つ使うことになるので遅くなるのでは？と思ったのですが、そこもカバーされていました。PiDはDMD2 (Distribution Matching Distillation 2)という手法を使って蒸留を行っています。DMD2は拡散モデルなどの蒸留を行う手法ですが既存手法なので詳細は省略します。これによりPiDはわずか4ステップで画像生成を行うことができます。 VAEデコーダーは拡散モデルの潜在表現を処理するように学習されていないので、生成モデルを使う、という点がユニークで面白い論文でした。PiDでは潜在表現だけでは失われやすい細部を生成モデルで補うことによって、品質の高い画像を生成できる点が大きな長所です。 #画像生成 #DiffusionModel #論文紹介

【論文解説】 AutoData: AIが強化学習にちょうどよい学習データを自動で作るエージェント Meta社のAutoDataという論文を紹介します。LLMの学習のためのデータは自動で生成することが多くなりました。これは大量の学習データを人力で作るのが大変というのが大前提としてありますが、問題の難易度をコントロールできる点も重要です。特に強化学習で使うデータは、簡単すぎる問題では学習する意味がなく、逆に難しすぎる問題ではほとんど正解できないので、十分な学習信号が得られません。 arxiv.org/abs/2606.25996 提案手法では、ほどよい難易度の問題を自動で作成するエージェントシステムを作りました。これをエージェントデータサイエンティストと呼んでいます。論文の面白ポイントは２つあるので、分けて解説します。難易度調整の内側のループと、システム全体を調整する外側のループです。 ## 問題の難易度を自動で調整する内側のループ 強化学習で使用する問題は「易しすぎず、難しすぎない」ほどよい難易度である必要があります。難しすぎると学習が進まないからです。著者らは「弱いモデル」と「強いモデル」の２つを組み合わせて使うことにしました。強いモデルでは十分に解ける一方で、弱いモデルでは苦戦するものを、学習に適した難易度と判断します。著者らはQwen-3.5-4Bを弱いモデル、Qwen3.5-397B-A17Bを強いモデルとして使用しました。 採点では、モデルの回答を参照回答と単純比較するだけでなく、複数のルーブリックに分解して評価します。つまり「この要素を説明している」「この点の関係を説明している」といった複数のチェックポイント（ルーブリック）に分解して評価します。 問題の生成と調整は別のエージェントが行います。ここではKimi-K2.6モデルを使っています。このシステム全体では、Kimi-K2.6を、問題生成、全体制御、採点など異なる役割のエージェントとして利用します。Kimi-K2.6を使った問題生成エージェントが「問題・参照回答・ルーブリック」を生成し、２つのモデルに解かせます。 弱いモデルでも簡単に解けてしまったら、結果をフィードバックして難易度を上げます。逆に強いモデルでも解けなかったら難易度を下げます。強化学習にちょうどいい難易度の問題を生成できるまで自動で調整します。実際、法律問題のタスクでは最初の問題が難しすぎたため、逆に問題を易しくする方向へ調整しています。 数学などの正解を検証できるタスクでは、LLM-as-a-Judgeだけに依存するのではなく、検証可能な正解を利用できるようになっています。 ここまでが内側のループです。 ## 学習データを作るエージェント自体を改善する外側のループ もう一つの面白い点は、問題生成を行うエージェント自体を改善する外側のループです。データを改善するだけでなく、「データの作り方」そのものを自動で改善するメタエージェントとなっています。 エージェントによってデータ生成を行い、どのような失敗が起きたかを分析します。たとえば「問題文に回答が含まれてしまっていた」「論文を読んで回答する問題なのに、一般的な知識で回答可能な問題だった」という失敗をエージェント自体が見つけて、プロンプトを修正します。修正したプロンプトで再度実行して、改善していれば採用、という処理を自動で行います。この外側のループには問題生成と同様にKimi-K2.6モデルを利用しています。 外側のループによってシステムの最適化を行うことで、適切な問題を生成できる割合が62.1%から79.6%まで向上しました。 ## 結果 このシステムで生成した学習データは本当に有効だったのか？　著者らは実際に強化学習を行って確認しました。強化学習手法のGRPOを使ってQwen3.5-4Bを学習させました。学習前のスコアが0.630だったものが通常のCoT Self-Instructで生成した学習データでは0.727になりました。しかし提案手法で生成された学習データでは0.774まで上昇しました。強化学習に有効な学習データを生成できたことが確認されました。 ## 感想 提案手法の「限界」はどこにあるのか？という点が気になりました。Kimi-K2.6が問題の生成と参照回答・ルーブリックの生成、回答のジャッジを行っています。そして強いモデルとしてQwen3.5-397B-A17Bを使っています。この教師側のシステム全体がまったく理解・評価できない問題を生成することは難しく、ここがシステムの上限になるのでは？と思いました。 著者らは強いモデルの推論部分だけ回答時の推論コストを増やす、複数回実行してよいものを選び出す、推論を補助する仕組みの導入を提案しています。 論文中には書いてありませんが、強いモデルだけ「問題を分割して扱う」「推論した結果を検証する」「推論時にpythonなどの外部ツールを使う」ことで、教師側のシステムの限界を押し上げることができると考えられます。 これにより、高度な推論によって得られた能力の一部を、通常の推論コストで動くモデルへ取り込める可能性があります。教師側のモデルで推論した場合よりも、特定の能力で高い性能を持つモデルを作れる可能性が見えてくるので、大変面白いなと思いました。 #LLM #強化学習 #AIエージェント #論文解説

【論文要約】GLM-5:Vibe CodingからAgentic Engineeringへ 性能が高いことで話題になったGLM-5の論文です。モデルの改善から学習方法までかなり細かく書いてあり、他の大手のテクニカルレポートと比べても、学習方法やエージェントの訓練についてかなり踏みこんだ記述があり、非常に参考になる内容になっています。 arxiv.org/abs/2602.15763 論文は長いので要点だけ説明したいと思います。まずGLM-5はAIエージェントとして複雑なタスクを完了する能力が高く、Opus-4.5やGPT-5.2(xhigh)に匹敵し、Gemini 3 Proより優れていると報告しています。個人的な感想ですが、最近はAIエージェントの競争でGemini以外の存在感が増しているように感じています。 従来のLLMの開発に関する論文では「どのようにLLMを改善したのか？」という点が注目されてきました。このGLM-5の論文でもモデル自体の改善については触れられているのですが、大事な点はそこではありません。GLM-5では単発のタスクを完了する性能を高めるだけでなく、長く難しいタスクを完了させられるエージェント的な能力を向上させることにも注力しています。タイトルにある通り「Vibe Coding → Agentic Engineering」への移行こそが重要であると著者らは主張しています。 モデル自体の改善は当然行いつつ、その後のエージェント強化学習、環境との相互作用を含む学習をしっかりと行った点が、提案手法の大事な点といえます。 もう一つ面白かった点は、中国GPUのエコシステムに関する点です。論文から読み取る限りでは、GLM-5はHuaweiなどの中国GPUエコシステムでの推論・展開に対応しているようです。 中国ではNVIDIA GPUを大量に調達することが難しいので、学習後の展開に中国GPUを選択できることはメリットが大きそうです。モデルとシステムの各種改善によって、ソフトウェアエコシステムが成熟途中にある中国GPU環境でも動作できるように最適化されています。この辺はDeepSeekと同様に、計算資源の制約が、結果として効率的なLLM設計やシステム最適化を促している点が興味深いです。

【論文要約】Qwen-AgentWorld ― AIエージェントに「世界モデル」を導入する arxiv.org/abs/2606.24597 こちらの論文はQwenチームから発表された「世界モデル」に関する研究です。世界モデルというのはロボットAIなどでよく登場します。ロボットがある操作をすると、環境とロボットの状態が次にどのように変化するかを予測するモデルです。世界を予測するので「WorldModel（世界モデル）」と言われています。 ロボット分野の研究では、カメラ画像などを入力として、次の状態や次の画像を予測する世界モデルが研究されています。Qwen-AgentWorldはAIエージェント用の世界モデルで、PC、ターミナル、Androidなどの環境を「テキスト表現」でシミュレートします。世界をテキスト表現で扱う「言語世界モデル」となっており、画面そのものを生成するのではなく、UI要素や画面状態をテキストとして表現してシミュレーションします。 なぜこのような世界モデルがAIエージェントのために必要なのでしょうか？　これまでのAIエージェントの学習では仮想環境などを用意して、AIエージェントに操作させて学習を行っていました。この場合、複数の仮想環境を用意するのは大変です。また仮想環境を用意できない場合に、実環境で行うとセキュリティのリスクが出てきます。 そこでQwenチームはAIエージェントの学習用の環境としてQwen-AgentWorldを開発しました。Qwen-AgentWorldはWeb、 OS、Android、 MCPサーバー、IDE、 検索エンジン、ターミナルの７つの環境を同時に扱える世界モデルです。AIエージェント用の世界モデルはこれまでも開発されてきましたが、複数の環境を統一的にシミュレートできるモデルが提案手法の大きな特徴となります。 この論文の特徴の一つは「複数の環境を統一的にシミュレートできる点」です。一方で、特に面白いと感じたのは、世界モデルを推論時の未来予測にも利用できる可能性を示している点です。論文中では「有能なAIエージェントは意思決定能力と世界モデルの能力の両方を持つべきである」と言及されています。AIエージェントは現在の状態から次のアクションを決めるのですが、そのときに「次にどうなるか？」を予測することができれば、すぐれた行動選択を行うことができます。これは人間がPCを操作するときに「この操作をしたら次はどうなる？」を予測しながら作業を行う点と同じです。優れたAIエージェントには未来の予測能力も必要なのです。 つまり、優れたAIエージェントとは「意思決定を行うモデル」と「未来予測を行う世界モデル」の組み合わせとなります。推論時には必要に応じて世界モデルを利用し、未来予測を行うようなアーキテクチャが考えられます。 論文の本文の中盤からは学習データの収集、学習方法、評価用ベンチマークの作成と評価についての説明がありますが長いので今回は省略します。 著者らは、AIエージェントと世界モデルが共進化していくことで、互いの境界を押し広げていく、と今後の課題で言及していました。 AIエージェント研究は、これまで「どう行動するか？」に焦点がおかれてきましたが、著者らは「行動した結果、世界がどのように変化するか？」も学習対象とするアプローチを提案しています。これは新しい視点で非常に面白かったです。世界モデルそのものに関してはロボットAIなどで関連論文を読んで理解していましたが、AIエージェントの推論時にも未来予測のために使っていくという観点は知らなかったので勉強になりました。今後のAIエージェント研究では「意思決定モデル」と「世界モデル」を組み合わせたアーキテクチャが一つのトレンドになっていくのかもしれません。

【論文要約】AIエージェントに最適なメモリシステムとは？「Agent-Native Memory Survey」を読む 「エージェントネイティブメモリシステムの準備はできているか？」というタイトルの論文です。エージェント「ネイティブ」というところがポイントですね。エージェントに最適なメモリシステムは何か？という点を体系的に整理・比較評価したサーベイ論文です。 arxiv.org/abs/2606.24775 最近のエージェントの研究では「推論」よりも「メモリ」にフォーカスしたものが多くなっています。長期間動作するエージェントにおいては、推論能力よりも、情報をどのように保持・更新・検索するか、というメモリ機能のほうが重要になってくるためです。 今回はサーベイ論文なので要点だけ紹介したいと思います。本論文ではメモリシステムを「保存・抽出・検索・更新」の4つのモジュールに分けて整理しています。 Representation（表現方法：キーバリュー、グラフなど） Extraction（何をメモリとして保存するか） Retrieval（検索方法：ベクトル検索、グラフ検索、ハイブリッド検索） Maintenance（メモリの更新・整理） 著者らは１２種類の代表的なメモリシステムを評価した結果、万能なアーキテクチャは存在せず、ユースケースに応じた設計が必要であると結論づけました。 また、長期運用ではメモリの更新が重要となりますが、メモリ全体の再編成はコストが高くなります。著者らが評価した結果、変更があった部分だけを更新するほうがコストを抑えられて効率的という結論でした。 これまでのメモリシステムに関する研究は、どのアーキテクチャが最も高精度であるか、という点に着目していました。著者らは「保存・抽出・検索・更新」という４つの構成要素ごとに分解して評価したほうがよいと提案しました。このように評価軸を分解することで、ユースケースに応じたメモリシステムの設計や比較がしやすくなる点が、本論文の貢献といえます。 エージェントシステムの設計ではモデルの選択だけでなく、「どのメモリシステムを組み合わせるか」も重要な要素になってきます。今後はメモリシステムそのものが、AIエージェントの性能を左右する重要な研究テーマになっていきそうです。

【論文要約】DeepSeekのDSpark：投機的デコーディングを高速化する半自己回帰生成 DeepSeekのDSparkの論文を読みました。DSparkは、DeepSeekが提案した投機的デコーディング用のドラフトモデルです。本編２１ページあるので、今回は大事なところだけ２点紹介したいと思います。投機的デコーディングの話なので、最初に投機的デコーディングの復習をしてから、DSparkの工夫について説明します。 arxiv.org/abs/2607.05147 投機的デコーディングとは？ まず投機的デコーディングについて復習します。一部のLLMは推論を高速化するために、投機的デコーディングという仕組みが使われています。投機的デコーディングでは、軽量のドラフトモデルと大型のターゲットモデルの組み合わせでトークン生成を効率化しています。まず軽量のドラフトモデルが出力する可能性のあるトークン列（A→B→C→D）を予測します。次に大型で遅いターゲットモデルで検証を行います。例えばA→B→CまではOKだけどDはNGの場合、ABCが出力されます。 これがなぜ速くなるのかというと、ターゲットモデルは「A→B→C」を３つまとめて検証するためです。ターゲットモデルを3回呼ぶのではなく、1回呼ぶだけで検証が終わります。ドラフトモデルを使うと、その予測の分遅くなるのですが、ターゲットモデルでまとめて検証できるので、全体では高速になります。 従来の投機的デコーディングにはどのような問題があったのか？ ドラフトモデルが「A→B→C」と予測する時に、最初から順番にA、B、Cと一つずつ直列に予測するとします。順番に予測していくので文章として矛盾しない結果となりますが、予測速度は遅くなります。 一方でABCを並列に同時予測する方法もあります。こちらは並列なので高速ですが、前のトークンを見ずに予測するため、文章として不自然な結果を予測してしまうことがあります。 ドラフトモデルが「直列」に予測すると「精度は高いが遅い」、一方で「並列」に予測すると「精度は低いが早い」となります。ここにトレードオフがありました。 DSparkの工夫１：半自己回帰生成 提案手法のDSparkでは、各トークンをTransformerで完全に並列実行し、最後の軽量な出力モジュールだけを順番に計算します。重いTransformerは一度しか実行しません。そのため自己回帰生成に近い精度を保ちながら、高い並列性を維持できます。 最後の部分では、一つ前のトークンの情報を考慮して、次のトークンを予測します。著者らはこれを半自己回帰生成と呼んでいます。 並列に予測した結果がh1, h2, h3, h4とします。出力トークンをy1, y2, y3, y4とすると、以下のような計算となります。 h1 → y1 (h2, y1) から y2 を予測 (h3, y2) から y3 を予測 (h4, y3) から y4 を予測 最初のh1, h2, h3, h4を求める部分は重いTransformerを使うので並列に行います。最後の直列の計算は高速なので、順番に行っても問題ないのです。 DSparkの工夫２：信頼度スケジューリング検証 DSparkのもう一つの工夫が「信頼度スケジューリング検証」です。ドラフトモデルがトークンを予測する時に「信頼度」も同時に求めます。A→B→Cと予測していく過程で、信頼度が以下の数値だったとします。 A 99% B 98% C 96% D 40% ... Dは信頼度が低いので、ドラフトモデルの予測をここで止めて、直前のABCまでをターゲットモデルに渡します。このときの「信頼度」はあくまでドラフトモデルが予測する「ターゲットモデルに受け入れられるか？」という値で、実際のトークンの正しさとは別の値です。 簡単な文章ならドラフトモデルが長いトークン列を予測し、まとめてターゲットモデルで検証します。難しい文章なら、ドラフトモデルは短いトークン列だけターゲットモデルへ渡します。このようにドラフトモデルが予測して、ターゲットモデルが検証する長さが「動的に変わる」点によって、高い受理率と高速化を両立しています。 論文中では、ドラフトモデルを訓練・評価するためのオープンソースツール「DeepSpec」についても説明されていますが、こちらに関しては省略します。 まとめ 投機的デコーディングでなぜ速くなるのか？　ターゲットモデルで検証するのだから最終的な速度は変わらないのでは？　と毎回疑問に思って調べてしまいます。「まとめて検証できるので速くなる」と覚えておくとよいですね。 DSparkはドラフトモデルの速度と精度のトレードオフを、最後だけ直列に計算する半自己回帰生成によって解決しました。シンプルな工夫で、これまでのトレードオフを解決できたのが面白い点でした。さらに、信頼度に応じて検証タイミングを動的に変える工夫と組み合わせることで、高速で無駄の少ない投機的デコーディングを実現しています。

【論文要約】オンポリシー表現蒸留（OPRD）：出力空間から隠れ状態空間へのパラダイムシフト こちらは「オンポリシー表現蒸留」の論文で大変難しかったので、Geminiに解説させつつ書きました。蒸留におけるパラダイムシフトにあたる論文なので重要だと思います。 arxiv.org/abs/2606.06021 提案手法の概要 通常の蒸留は、教師モデルが出力する次のトークンの対数確率を生徒モデルにマッチングさせます。この場合、非常に大きな語彙を持つモデルの場合、分散が非常に大きくなります。またモデルの内部をブラックボックスとして扱い、最終出力のみを扱います。 著者らは蒸留を「出力空間」から「隠れ状態空間」に持ち上げる「オンポリシー表現蒸留（OPRD）」を提案します。トークンを出力させるところではなく、内部のレイヤーの段階で蒸留を行います。この手法は提案手法が初であると著者らは主張しています。 オンポリシー表現蒸留（OPRD）のメリット 通常の蒸留のように最終結果のトークンの分布を監視するよりも、圧倒的に低分散、高密度の信号を扱える点が提案手法のメリットです。またロジットテンソルを実体化しないため、学習時間を1.44倍短縮し、ピーク時のGPUメモリを54%削減します。 提案手法の構成 提案手法ではまず生徒モデルに問題を解かせます。生徒モデルは何とか「不完全な解答」を生成します。次に「問題」と「不完全な解答」をセットにして、生徒モデルと教師モデルに入力します。両方のモデルでこのテキストを処理しますが、ここで重要なのは「生徒が自力で考えた解答部分」に限定して比較を行う点です。 教師モデルは問題文から文脈を読み取った上で、生徒モデルの不完全な解答をどう処理するか？という点の思考プロセス（中間表現）を展開します。この教師モデルの優れた中間表現を手本として、生徒モデルの中間表現を直接近づける（アライメント）することで、生徒の思考の軌道を矯正します。これが提案手法のOPRDです。 ここでの教師モデルと生徒モデルは異なるモデルです。実験では教師モデルにJustRL-DeepSeek-1.5B、生徒モデルにDeepSeek-R1-Distill-Qwen-1.5Bを使っています。教師モデルのほうは強化学習が終わった後のモデル、生徒モデルは強化学習を行なっていません。また教師モデルはDeepSeek, 生徒モデルはQwenとアーキテクチャから異なります。異なるモデル間で表現の次元を合わせるために「プロジェクター」と呼ばれる変換層を含んでいるのも提案手法の工夫の一つです。 モデルサイズは同じですが、教師モデルのほうは強化学習が終わっているので、生徒モデルより賢いモデルであるといえます。提案手法での実験では大きなモデルと小さなモデルの組み合わせではなく、強化学習が終わっているモデルと、強化学習前のモデルの組み合わせで蒸留を行います。強化学習をさらに行えばよいのですが、強化学習はコストが大きいため、簡単な蒸留で済ませたいという理由があるためです。 これはオンポリシーなの？ 生徒が出力した回答を、再び生徒に入力しているので、オンポリシーの定義を満たしています。教師モデルは「生徒が歩いた道筋に対する、理想的な評価スコアを与えるだけの採点者」として機能している点が特徴です。 結果 提案手法によりAIME（アメリカ数学招待試験）などの高難易度の数学ベンチマークにおいて、従来のトークン出力ベースの蒸留では届かなかった教師モデルのスコアにかなり近づく、もしくは同等のスコアを出すことができました。中間表現でのアライメントを行うことで蒸留の効率が上がったためと考えてよさそうです。 感想 蒸留をトークン出力の段階ではなく、中間表現の段階で行うという手法でパラダイムシフトがあって面白い論文でしたが、論文の記述が難しくて困りました。最近はトークンを出力せずに、何でも中間表現で行なってしまうのが流行しているようです。トークンはあくまで人間が理解するために必要なもので、AIには必要ないものです。効率を重視していくと、トークンを出さずに中間表現で完結させる、というのは極めて自然な流れだと思います。

【論文要約】AIの「破滅的忘却」を防ぐ：自己蒸留（SDFT）が実現する継続的学習 「自己蒸留は継続的な学習を可能にする」というタイトルの論文です。2026年1月の発表なので、半年ぐらい前の論文です。自己蒸留に関するシンプルな内容で理解しやすいと思いました。 arxiv.org/abs/2601.19897 継続的学習はなぜ重要？ 著者らは「はじめに」で以下の主張を行っています。「次世代の基礎モデルを可能にするためには、継続的学習の問題を解決しなければならない：人間が生涯を通じて知識を蓄積し、スキルを洗練させる方法と同様に、AIシステムが時間をかけて学習し、改善し続けることを可能にする」 AIシステムは優れた性能を発揮していますが、展開後に「静止」しています。検索やプロンプトなどのメカニズムで推論時に自分の行動を適応させることはできます。しかし、新しいスキルを習得したり、新しい知識を内面化したり、経験から改善したりするためにパラメータを更新することはありません。ここでの「スキル」は「新しいタスクを完了させる能力」を指しており、ClaudeCodeなどで利用する「Skills」とは別の概念です。 SFTはオフポリシー学習である AIシステムに継続的な学習を行わせる場合に問題になるのが「破滅的忘却」です。新しい知識をSFT（教師あり学習）で学習すると、すでに持っていた知識を失ってしまう現象です。この理由はSFTが本質的にオフポリシー学習であるためです。 オフポリシー学習とは？ SFTでは「問題と回答のセット」を利用して学習を行います。このときのデータセットは学習対象のモデルとは別のところで用意したものです。つまり学習対象のモデルの出力傾向（ポリシー）と学習データセットの間には細かなギャップがあります。このような出力傾向（ポリシー）の違いがあることを「オフポリシー」と呼びます。このまま学習すると、モデルの本来の性質とは違うデータで「無理して」学習することになり、結果としてモデルは過去の知識を失ってしまいます。 それに対してオンポリシー学習とは？ これを解決するのがオンポリシー学習です。同じモデルから出力した回答を使ってSFTを行います。この場合、同じモデルからの出力なので、学習データとモデルの間のギャップがありません。結果としてモデルは過去の知識を失わずに新しい知識を学習することができます。同じモデルからの出力で「蒸留」を行うので、この方法を自己蒸留といいます。 同じモデルからの回答で学習になるの？ ここがオンポリシー学習・自己蒸留の面白いところです。回答を生成する教師役のモデルには、よい回答を生成させるための情報やデモンストレーションを与えます。回答を生成するために必要な情報がプロンプトに含まれているので、教師モデルはよい回答を生成することができます。学習するモデルには問題しか与えず、先ほどの回答を出力するようにSFTを行います。 他の方法もあるの？強化学習など 強化学習は自分の出力を使って学習を行うのでオンポリシー学習です。しかし、強化学習を行うには報酬関数を学習する必要があります。通常の強化学習では、人間が何が良い回答かというルール（報酬）をあらかじめ設計する必要がありますが、これは大変です。そこで人間のエキスパートが作った良い回答のデータから「この回答の背後にはどのような評価基準（報酬）が隠れているのか？をモデルに逆算して学習させる方法があります。これを逆強化学習といいます。逆強化学習は計算コストと複雑さの問題があるので実用は難しくなっています。 実験 提案手法では自己蒸留を使って新しい知識を学習させます。実験で利用されたのはQwen-2.5-7B-Instructモデルです。自己蒸留はオンポリシー学習なので、過去の知識を失わずに新しい知識を習得できます。著者らの実験では「ツール利用」「科学Q&A」「医療」の３つの異なるタスクを順次学習させて、元の知識を維持できることを示しました。論文中ではベンチマークの結果のグラフがわかりやすく示されています。比較として従来のSFTでの学習を行いましたが、こちらは新しい学習が始まると、既存の知識を失ってしまうことが確認されました。 自己蒸留の注意点は？ デモンストレーションを与えて回答を生成する教師モデルが、例をそのまま模倣するだけになると、ベースモデルから大きく逸脱し、オンポリシー学習の利点を失ってしまいます。教師モデルの価値は、ベースモデルに固定されたまま、タスクに適した「新しい行動」を自ら生み出す点にあります。 この点を調査するために、著者らは「ツール利用」タスクで調査を行いました。「ツール利用」タスクではデモがない場合、ベースモデルは42%しか解けません。適切なデモが提供されると、教師モデルは100%の成功率を達成します。デモには「例となる問題、その推論過程と回答」が含まれます。教師モデルに与えられるのは、デモの内容と、実際に解くべき問題（推論データは含まれない）です。この際、50のケースについて、教師モデルの推論結果を手動で調査しました。最終的なツールコールが正しいだけでなく、自ら生成した中間的な思考の連鎖は有効でした。つまり、教師が単に専門家の出力をコピーするのではなく、正しい推論プロセスを再構築していることを示唆しています。 自己蒸留にモデルサイズは影響する？ 著者らはモデルのサイズが自己蒸留の結果に影響するか？という点も調査しました。モデルが3Bと小さい場合、モデルの文脈内学習が弱すぎて、教師モデルが意味のある回答を生成できず、通常のSFTに劣った結果となりました。しかしモデルサイズが7Bになると提案手法のほうが優れた結果となり、14Bでさらに差が開きます。 推論データなしで推論モデルを学習する 著者らは推論モデルの学習についても言及しています。通常、実世界のデータセットは完全な思考の連鎖を伴わず、最終的な答えのみ提供します。通常のSFTで推論モデルを学習する場合、データセットには簡潔な回答しか含まれていないので、短い回答を優先させてしまい、推論の深さの崩壊を引き起こします。学習対象の推論モデルが推論データを出力しても、回答のほうに推論データが含まれていないので、その違いで困ってしまうのです。 自己蒸留の場合、教師の回答には推論データまで含まれるため、この問題を回避できます。自己蒸留では、データセットに明示的な推論データが含まれていなくても、効果的に推論モデルを学習できます。 デモを与えれば解けるなら、学習は必要ないのでは？ たしかにその通りですが、問題ごとに毎回適切なデモを用意するのは大変です。また毎回デモを含めるとコンテキストが長くなってしまいます。デモを常に含めると、その分がコストとなります。著者らの目標はモデルの継続学習です。自転車に常に補助輪をつけて走るのではなく、自転車に正しく乗れる感覚を学習して、補助輪なしで走ることを目指しています。モデルには自力で、より速く、より柔軟にタスクをこなせるようになってほしいのです。このためにパラメータを更新する学習が不可欠となっています。 感想 2026年1月の論文なので、自己蒸留・オンポリシー学習の論文としては新しい内容ではありませんでしたが、自己蒸留について理解するのに大変よい、基本を抑えた内容になっていると思いました。