Konoe Intelligence

【Blog更新(基礎研究)】 AIが「なぜその答えを出したのか」を理解する有力な方法が、内部の「回路」を調べること。 回路とは、複数の部品が情報を受け渡し、答えを生み出す仕組みのこと。 解釈可能性のさらなる発展に向け回路の解明は有効打となる。 ただ、巨大なAIでは膨大な回路が複雑に関わり合い、どこを調べるべきかが課題になっていた。 今回、私たちはAI内部の部品間で情報が伝わる条件を数学的に整理し、複数のモデルで、一部の組み合わせが特に情報を伝えやすい構造になっていることを確認しました。 これは、回路を探索する際に「どの部品間のつながりに注目すべきか」を絞り込む手がかりになり得ます。 フロンティアAIの内部を解明する研究を支える、基礎的な成果となることを確信しています。 konoe-intelligence.net/posts…

【AIは悪意を持つのか -日本語モデルでJレンズを使ってみた】 2026年7月、Anthropic が一本の論文を発表しました。 これは機械論的解釈可能性のおける一歩となる論文で、 ヤコビアンレンズ。略してJ-レンズというものです。 LLMの内部に「言語化可能で、報告でき、操作でき、柔軟な推論に使われる」集合が存在することが報告されていました。 要するに、LLMの推論過程で使用された脳内の思考を人間の言葉に言語化し、操作することができるということです。 これはAIの安全性にとって大きな意味を持ちます。 出力がまともに見えるときに、内部でも穏当なことを考えているのか？他にどんなことを考えているのか？という点です。 本記事では、Qwenと日本語モデルであるPlamo・LLM-jpにてある条件のタスクやシチュエーションを与えることで日本語モデルは悪意を持つのか。持たないとして、内部では何も起きていないのかを実験を通して調査しています。 konoe-intelligence.net/posts…

【社内に脳入会を作った話】 私は、まだ今は過渡期にすぎないと思っている。AI以前、過渡期、AI以後と分けたときの、真ん中だ。AIを使わずすべてを人力で行っていた時代は終わり、AIだけですべてが回る時代はまだ来ていない。 この時期にすでにAIで十分だと思っているなら、それはAIの問題ではなく、その人の仕事の要求水準の問題だと思う。一方で、AIを無能だと切り捨てるのは、自分の無能の証明でもある。過度に礼賛するのもまた無能の証明だ。礼賛にも拒絶にも倒れず、動き続ける境界の上に立ち続けなければならない。非常に難しい時期で、だからこそ楽しい時期でもある。最後の楽園のような気もしている。 その真ん中で、弊社では「脳入会」という会をやっている。人間の脳に入れるべきものを、意識的に入れる会だ。 このようなAI過渡期の課題には、一つの理由があるような気がしている。inputとoutputの関係が変わってしまった、ということだ。ここでいうinputとは、情報を受け取ることではない。理解し、自分の判断材料として脳に残すことだ。 今までは、inputがなければoutputは出なかった。コードを書くには、そのコードを理解していなければならなかった。実験を組むには、その分野の勘が要った。outputを出す行為とinputは同じ動作の中にあり、一つの仕事をすれば両方が起きた。だから、脳に入れることを独立した仕事として数える人はいなかった。勝手に入っていたからだ。 AIはこの結合を切った。outputは出るが、出した人の脳には何も残らないことがある。動くコードの手前に、理解した人間がいるとは限らない。把握が薄くなったのは、誰かが怠けたからではない。把握しなくても成果物が出るようになったからだ。 以前は副産物として勝手についてきたinputが、意識して入れないと入らないものになった。 「脳入会」という仕組み 脳入会は、副産物として入らなくなったinputを、制度として入れ直す場所だ。AI以前は、脳に入れなければoutputは出なかった。入れることは前提で、わざわざ名前をつける必要がなかった。いまはそうではないので、脳に入れるという行為を明示的に切り出して、名前をつけて、やる。 形式は大学のゼミに近い。メンバーが持ち回りで、自分がいま取り組んでいる研究開発の内容を発表し、それについて議論する。一回一時間ほどで、定期的に回している。 将来のAIに対しての話 用の側からの理屈は、ここで尽きる。過渡期のいまは、任せられるものと任せられないものを分ける、という実務の話で足りた。だが将来のAIに対して、人間の側になお何かが残ると主張しようとすると、実用の言葉では何も言えない。 残るのは、感情論と思想だけだ。だからここからは、感情論と思想の話をする。 残るもの まず認めておく。性能では勝てない。速さでも、量でも、精度でも、範囲でも勝てないし、これから差は開く。人間に何が残るかを考えるとき、「AIより上手くできること」を探すと何も残らない。探すべきは、AIにないものだ。 人間には肉体がある。肉体があるから、経験が肉体を通して入ってくる。 その経験は記憶として残り、しかも連続している。自分が昨日の自分と同じ自分であるという厳密な連続性を仮定するなら、人間のコンテキスト長は生まれてから今日までの全部であって、これはどんなモデルのコンテキストウィンドウよりも長い。 ただし正確ではない。人間の記憶は逐語的ではなく、ほとんどが失われ、残ったものも歪んでいる。だが、これは劣化ではない。圧縮だ。何十年分の経験が、判断の瞬間に一つの「なんか違う」に折り畳まれて出てくる。その圧縮されたものを、我々は感性と呼んでいる。感性とは、圧縮された記憶のことだ。 AIが成長しても、これらは残る。AIがそれを持っていないからではない。AIがそれを持てるようになったとしても、私のこの肉体を通った記憶の圧縮は、私にしかないからだ。 入れて、煮込む 人間にしかないものが感性で、感性が圧縮された記憶なのだとしたら、それをつくる方法は一つしかない。入れて、煮込む。 煮込むには材料が要る。AIに読ませて要約させたものは、その理解の工程をAIが引き受けている。自分の脳には入っていない。一度自分の頭で理解し、時間をかけてほかの記憶と混ざり、そのうち形を失って、判断の癖になる。 問い直しと大局的な判断は、主観の混ざった解釈から出てくる。その主観とは、感性のことだ。感性は、入れなければつくれない。判断を持ち続けるためには、inputをやめるわけにはいかない。 脳に入れる側に張る 脳に入れるべきタスクが一つも残らない未来は、あり得る。そのときは、人間は工程の中の単なるボトルネックであり、外れるのが正しい。将来のAIに対してもこの切り分けが残るかどうかは、正直、わからない。 本音を言えば、結局そっちの方が楽しいっしょ、という話だ。 自分の頭で理解して、他人の頭の中身を聞いて、それについて一時間言い合う。それは仕事として必要かどうかの前に、面白い。AIが出したものを承認して回る仕事より、面白い。 満足なソクラテス ミルは、満足した豚であるより不満足なソクラテスである方がよい、と言った。考える者は満たされない、という前提がそこにある。考えることと、考えた末に何かを出すことの間に、いつも苦役があった。 AIはその前提を壊した。outputはAIが引き受ける。人間には、inputと、煮込むことと、判断することが残る。それは人間にしかできないことであると同時に、人間にとって一番面白い部分でもある。苦役だけが抜けた。 AIは我々に、満足なソクラテスとして生きる選択肢を与えた。我々はそれを選ぶ。それがうちの会社の立場で、脳入会はその立場の具体的な形だ。 同じ選択をしたい人と、働きたいと思っている。 konoe-intelligence.net/posts…

代表取締役勘佐がNyx Foundation主催のAgentic Summitに登壇いたします。 2026年9月23日(水・祝日)

採用募集中

【Blog更新】 入出力による評価では分からない、我々を終わらせる可能性のあるAIモデルのリスク AIの安全性とは何を保証することなのか。それは、AIモデルが「設計されたことを確実にうまく実行」し、「望ましくないことを確実に実行しない」こと 入出力評価では検出できない5つのリスク 策略（Scheming） 欺瞞（Deception） 目的達成における副次的インシデント（Agentic Misalignment） 評価認識とサンドバッギング（能力の隠蔽） バックドア（スリーパーエージェント） konoe-intelligence.net/posts…

【Blog更新】 機械論的解釈可能性の国家戦略化が必須な理由 提言1：政府は、AIの内部挙動を理解・検証するためのAI解釈可能性研究を、人工知能基本計画における「信頼できるAI」を実現するための戦略的重点研究領域として明示し、基礎研究から社会実装まで継続的に支援すべきである。 提言2：政府は、AISIを中心として、従来のブラックボックス型AI評価に加え、モデル内部の表現・推論過程・計画を分析する解釈可能性技術をAIセーフティ評価に統合し、日本独自の高度AI検査能力を構築すべきである。 提言3：政府は、行政、防衛、医療、金融、重要インフラ等の高リスク領域におけるAI調達において、安全性評価および内部挙動の検証が可能なAIシステムを優先すべきである。 konoe-intelligence.net/posts…

【レポート最新版更新】 「シン・機械学習-群論的対称性から圏論的対称性へ-」 aladdin-security.net/posts/r… 知能、それは人類最大の武器であり特権であり謎でした。目まぐるしい技術発展の最高到達点として人類とは異なる知能が今まさに生み出されようとしています。 市場は既にAIをめぐる巨大なマネーゲームを始めています。 しかし、立ち止まって考えてみると人間は現在のAIよりも遥かに少ないデータ量で効率的な学習を行っています。 つまり、スケーリングではない、アーキテクチャ的な革新によって人工知能が大きく発展する余地が残されているのです。 キーワードとなるのが「対称性」です。 本記事では「対称性」を指導原理としてアーキテクチャを設計する考え方について解説をします。 #AI #機械学習 #Machine_learning #圏論 #対称性 #アーキテクチャ #AI安全性 #人工知能

【レポート最新版更新】 aladdin-security.net/posts/r… 「AIの解釈可能性が至上命題である」 AIがなぜその出力をするのか理解していますか？ AIの安全性を高めるには、ブラックボックスのまま信頼するのではなく、その内部を解釈し、評価し、制御できることが重要です。 安全に信頼してAIを活用するためにも、日本がAI主権を確保していくためにも、AIを「解剖」し、理解する技術は必要不可欠です。 私たちは、このAIの解釈可能性という課題に挑戦しています。 #AI #AI評価 #AI解釈可能性 #AI解体新書 #Interpretability #AI安全性 #AISafety #Alignment #アライメント

【レポート最新版更新】 aladdin-security.net/posts/r… LLMの線形表現仮説と特徴量幾何学の再現実験 昨今、AIがどんどん強力になって、依存している。 開発者でさえ、モデルがなぜ特定の判断を下すのか、完全には説明できない。 つまり、AIは真に Black Box となっている。 そのため、AIをホワイトボックス化すること。AIをレントゲンのように見れるようになること。 要は、 AIの解釈可能性を上げることがAI Safety、アライメントの核心となってきています。 なかでも本レポートが扱う 幾何的解釈——内部状態という高次元ベクトル空間に意味の構造がどう埋め込まれているかを読み解く方向性——はその基礎にあたります。 その解釈の出発となる仮説こそが 線形表現仮説 (Linear Representation Hypothesis, LRH)——「概念はベクトル空間の方向として表現される」というシンプルな見方——です。 この線形表現仮説の可能性を紹介した論文2本 懐疑的な意見を持つ論文1本を紹介し、 線形表現仮説の到達点と限界並びに日本語WordNetへの拡張を調査する実験を行っています。