Shuhei Shimmyo | マルチモーダルRAG基盤開発 (@ShimmyoLab) header
Shuhei Shimmyo | マルチモーダルRAG基盤開発 (@ShimmyoLab) profile picture

GeMM(Generative Media Manager)開発・事業化推進中 / 新明技研 代表, Ph.D. 特徴:生成的検索UI・マルチモーダルRAG基盤開発 技術:VLM・LLM・セマンティック検索 慶應特任助教 → ロボティクス起業 → 米国CV/VLM → 生成AIへ

Joined November 2024
100時間の映像から3秒を見つける。 長尺映像のデータ精製基盤「GeMM」のユースケースがわかるコンセプトムービーを作成しました。 産業データを扱う領域特化型AI(バーティカルAI)分野では、最近大型調達のニュースが続いています。多くは 図面や文書といった "静的データ" の管理・活用が主戦場で、業界標準ができつつあります。ここは大規模プレイヤーがしのぎを削っている領域です。 私たちは同じ産業データでも、動画(時系列・長尺) を選びました。工場・現場・車載カメラで撮ったあと、誰も二度と開かない100時間分の記録。 ここが未開拓のままだからです。 静的な設計データと、動的な現場データ。両者は「精製」の技術がまったく違います。 動画は1フレームごとにVLMを走らせても現実的な速度・コストで処理できません。 長尺映像を扱うには、文書RAGとは別の設計思想が求められます。 GeMMは この領域に真正面から取り組み、SOTA級の独自動画RAGアルゴリズムを搭載しています。映像を分割・解析・構造化し、自然言語で問える状態まで持っていく基盤です。すでに複数の産業現場でPoCが進行しています。 監視映像・点検動画・車載記録に「いつ何が映っていたか」を、後からタイムスタンプ付きで辿れます。 処理はすべて御社サーバー内で完結。 機密映像は外に出ません。閉域網でも動作します。 「あの現場の、あの場面。どこに映ってた?」 その3秒を、探しに行く仕事をなくす。 ▶ youtube.com/watch?v=PxDhzNx9… #GeMM #生成AI #マルチモーダルRAG #バーティカルAI #オンプレAI
3
307
「ひらめきと共創」優秀賞の件、時事ドットコム、ASCII STARTUPほかに掲載いただきました。 九州電力送配電さまと、現場作業動画を自然言語で検索できる動画エキスパートボットのPoCを進めます。 時事ドットコム:jiji.com/jc/article?k=000000… ASCII STARTUP:ascii.jp/elem/000/004/449/44…
【プレスリリース】 九州電力・九州電力送配電が主催するキューデングループオープンイノベーションプログラム「ひらめきと共創2026」で、九州電力送配電さまの表彰案件として優秀賞をいただきました。全国から101件の応募があり、6件が表彰されたとのことです。 受賞した提案は「GeMMによる動画エキスパートボット構築」です。 電力インフラの現場には、熟練者の手順や判断のポイントを記録した作業動画が数多くあります。ただ、長尺の動画から必要な場面を探すのは手間がかかり、十分に活用しきれていないのが実情です。 このPoCでは、セルフホスト型のマルチモーダルメディア検索管理システム「GeMM(ジェム)」を使い、現場作業動画を自然言語で検索し、根拠となる映像とタイムスタンプをすぐ確認できる環境をつくります。技術継承や教育の高度化につなげることが狙いです。 GeMMは推論・ベクトル化・保管のすべてを利用企業のサーバー内で完結させるため、データを外部に出せない現場でも使えます。 九州電力送配電の皆さまをはじめ、審査・運営に関わってくださった方々に心より感謝申し上げます。これからPoCで成果を出せるよう取り組んでまいります。 映像をはじめとする現場データの活用や技術継承に課題をお持ちの方は、お気軽にご連絡ください。 詳細はこちら: prtimes.jp/main/html/rd/p/00… #GeMM #VLM #生成AI #マルチモーダル #技術継承 #オープンイノベーション
1
1
117
【プレスリリース】 九州電力・九州電力送配電が主催するキューデングループオープンイノベーションプログラム「ひらめきと共創2026」で、九州電力送配電さまの表彰案件として優秀賞をいただきました。全国から101件の応募があり、6件が表彰されたとのことです。 受賞した提案は「GeMMによる動画エキスパートボット構築」です。 電力インフラの現場には、熟練者の手順や判断のポイントを記録した作業動画が数多くあります。ただ、長尺の動画から必要な場面を探すのは手間がかかり、十分に活用しきれていないのが実情です。 このPoCでは、セルフホスト型のマルチモーダルメディア検索管理システム「GeMM(ジェム)」を使い、現場作業動画を自然言語で検索し、根拠となる映像とタイムスタンプをすぐ確認できる環境をつくります。技術継承や教育の高度化につなげることが狙いです。 GeMMは推論・ベクトル化・保管のすべてを利用企業のサーバー内で完結させるため、データを外部に出せない現場でも使えます。 九州電力送配電の皆さまをはじめ、審査・運営に関わってくださった方々に心より感謝申し上げます。これからPoCで成果を出せるよう取り組んでまいります。 映像をはじめとする現場データの活用や技術継承に課題をお持ちの方は、お気軽にご連絡ください。 詳細はこちら: prtimes.jp/main/html/rd/p/00… #GeMM #VLM #生成AI #マルチモーダル #技術継承 #オープンイノベーション
1
3
294
長いコンテキストは、本当に必要なのか。 「You don’t need long context」という挑発的なタイトルの技術レポートが出た。著者にはPavlo Molchanov氏らが名を連ね、実験はDGX Sparkなどのローカル環境でも行われている。 ■ 後ろのトークンほど高い 出発点はコストだ。生成コストはコンテキストの深さに比例して増え、ローカルモデルでは後半のトークンの生成に約2倍の時間がかかる。クラウド換算で256Kと16Kを比べると、GLM 5.2で3.6倍、Kimi K2.6で5.6倍、Qwen 3 Coder Nextでは7倍のコスト差になると試算されている。 ■ 頻繁に「圧縮して、やり直す」 提案はシンプルだ。コンテキストが閾値を超えたら、モデル自身にタスクに必要な情報だけを要約させ(残りの手順、計画、完了条件、成果物の場所)、元のタスクとその要約だけで新しい会話を始める。過去の実行の経緯は捨てる。 SWE-bench Verified、Terminal-Bench、τ²-bench、LongBench v2、RULER、BABILongなど幅広いベンチマークで、Claude Opus 4.5などのフロンティアモデルは精度をほとんど落とさず、設定によってはむしろ上がったという。 ■ 1コンテキスト1アクションでも崩れない さらに極端な実験として、毎ステップ「タスク+自然言語の状態記述」だけを受け取り、1アクションしたら会話を捨てる方式でも、SWEタスクの性能は崩壊しなかった。著者らはここから、状態を人間が読める言葉で持ち回る「Semantic State Space Models(SSSM)」という概念を提示している。 ただし、オープンウェイトモデルでは結果がまちまちで、圧縮に耐えられないモデルもあった。要約を書く能力そのものがモデルの実力に依存するということだ。 ローカルLLMでマルチモーダル検索を作っている立場からすると、これはかなり実務的な話である。VRAMの制約でコンテキストを伸ばせないことを「弱み」だと考えてきたが、問題はコンテキスト長ではなく、状態をどう要約して持ち回るかの設計だったのかもしれない。 長いコンテキストを買う前に、まず圧縮の設計を疑うべきだ。
2
3
284
否定に弱いのはデータ不足のせいだと思われがちだが、この論文の答えは逆だ。対照学習で作る単一埋め込みである限り、否定された概念の存在を「減点」することは構造的にできない、という。 CLIPのようなデュアルエンコーダ型の視覚言語モデルは、「犬のいない猫」と「犬のいる猫」をほぼ同じスコアで評価してしまう。「犬のいない」と書いても、モデルにとっては「犬」という語を足したのとあまり変わらず、除外したいはずの犬の写真と区別できない。 ■ 薄めることはできても、罰することはできない 論文によれば、対照学習の下では、単一埋め込みの手法は否定された概念をせいぜい無視する(希釈=「犬のいない猫」を単に「猫」として扱う)ことしかできず、犬が写っていることを減点する(拒否)方向には動けない。 ■ 画像側に「拒否」の軸を足す Know-Thy-Not(KTN)は学習不要で、画像側の表現に、否定された概念が写っていれば減点する拒否の次元を導入する。 ■ 拒否ができないと解けないベンチマーク 著者らが「初」とする、本当の拒否が必要なベンチマークCOCO-Confusionも提案している。9つのバックボーンで、mAPを素のVLMより最大+25.6、既存の最強手法より最大+9.6改善したと報告されている。ただし改善幅は著者ら自身のベンチマーク上の値だ。 自分たちの横断検索(単一ベクトルの埋め込み検索)でも、「ロゴが入っていないスライド」「人が写っていないシーン」のような除外条件付きの検索で、除外したいものが混ざってくることがある。結局メタデータのフィルタで後から消していた。今思えば、埋め込みにはできない「拒否」を外付けしていたことになる。 否定を含むクエリを単一ベクトルの類似度だけで解こうとするのは構造的に厳しい、というのが自分の立場だ。KTNのような拒否の仕組みか、フィルタのような別の層で明示的に扱うべきだと考えている。否定条件は埋め込みの中で解くべきか、外に出すべきか。皆さんの現場はどちらだろうか。
1
1
2
174
Shuhei Shimmyo | マルチモーダルRAG基盤開発 retweeted
Decisions API の陰で、Google から embeddinggemma-2 というオープンウェイトモデルがひっそりと公開されていた 「テキスト・画像・動画・音声を、同じ意味空間のベクトルに変換できる軽量マルチモーダルEmbeddingモデル」とのこと ほぼなんでも検索アプリが作れそう? huggingface.co/google/embedd…
4
108
22
765
62,375
私も社会人で通った口なので当時を思い出す。めちゃくちゃ大変だった。 仕事はクソ忙しいが、論文は書かなければならない。 出社前に朝早起きして時間を作るとか、会社も応援してくれる調整をするとか。テーマ選びマジで大事。 ストレート博士も素敵だが、社会人博士はビジネス感覚も学術的な感覚も兼ね備えられるかもしれない。体がもてばだが。。
1
431
埋め込みモデルを更新するたびに、ギャラリー全体を再インデックスしていないだろうか。 画像・動画の横断検索を運用していると、より良いモデルが出るたびに悩む。新モデルに乗り換えたいが、大量の埋め込みを再計算するコストが重い。結果、古いモデルを使い続けるという判断になりがちだ。 NeurIPS 2026採択の論文は、ギャラリーに一切触れずにどこまで互換性を取り戻せるかを詰めている。 ■ 既存の回避策:直交アライメント 新モデルのクエリ埋め込みを、旧モデルのギャラリー空間へ直交変換で写す手法。ただ、独立に学習されたモデルは細かな表現構造が異なるため、写像はあくまで近似。旧モデルのクエリとの間に角度のずれが残る。 ■ 提案:球面上の補間 アライメント後の新クエリと旧モデルのクエリ、両方の正規化ベクトルを球面測地線に沿って補間する。その途中に、どちらの端点よりも理想的な検索方向に近い点が存在する条件を幾何的に特徴づけ、局所的なマージン条件のもとでRecall@Kと結びつける理論結果を示している。 ■ 結果 複数のベンチマーク・モデルファミリーで直交アライメント単体を上回り、評価した設定の大半で後方互換性を回復した。さらに、クエリごとに最適点を選べた場合のオラクル分析では、検索に有利な点が端点ではなく「途中」に見つかることが多いという。 見落とされがちなのは、変換するのはクエリだけで、ギャラリー側は再計算しないという点だ。 自分の立場を書くと、埋め込みモデルの選定基準は「ベンチマークで何位か」だけでなく「旧インデックスと共存できるか」まで含めて考えるべきだと思っている。移行コストを下げる手段がないと、モデル更新は後回しになり、検索システムは古いモデルに固定されやすい。 ただし注意点もある。旧モデルのクエリ埋め込みも必要なので、クエリ時に新旧両モデルを動かす前提になる。オラクルの上限と、実運用での補間係数の決め方には差もありうる。完全な置き換えではなく、移行期間を安くする技術として捉えるのが現実的だと思う。
1
2
139
Vision modelのJev できたらロボットとか動かせそうですよね。画素から選択肢を選ぶだけならCLIPやSigLIPでもある程度いけそうですが、「今どういう状態か」の理解をどうやるかが難しそうだなと思いました。今のJevはその部分を整理済みのstateとして外から渡してもらっているので、画像版ではそこを誰がどう担うのか。
Jevは設計上、言語モデルよりビジョンモデルと合体したほうが可能性がありそうやな。 というわけで、Typesafeは(原理的に可能ならば)つぎは、Visionモデル作るんやないかな。Visionモデルで4択とか5択で返事してくれたら、いろいろ大激震しそう。
1
217
「ベクトル検索は意味で探せる」——物理量が絡むと、この前提はかなり怪しくなる。 質量・距離・時間・体積は、意味の等価性が一意に決まる稀な領域だ。1kgと1000gのどちらが正しいかで揉める人はいない。意味類似度にとっては、これ以上ないほど簡単な試験問題のはずだった。そこで埋め込みは落ちた、というのが今回の論文である。 ■ 物理量は弱くしか反映されていない 論文は、物理的な測定量が埋め込み空間では弱くしかモデル化されていないと報告している。正しく量を測る代わりに、かなり奇妙な測定パターンが観測される。ゼロではないが、当てにできる強さでもない水準だ。 ■ 効いているのは表層的な文字列の類似 さらなる分析では、物理量の埋め込み表現が表層的な文字列の類似に強く影響されていると示されている。量そのものを比べる軸より、文字面の近さが効いてしまっている。これは精度の問題ではなく、測っている対象が違うという問題だと思う。 ■ 類似度の再較正では埋まらない 類似度を再較正しても整合性は大きくは改善しなかった。ここがこの論文のいちばん厳しい部分で、少なくともスコアの後付け補正で消せるズレではない。 ここからは自分の実装の話。マルチモーダル検索を作っていると、量的な条件を含むクエリは素直に返ってこない。論文が扱ったのは物理量であり、解像度や尺は範囲外だし、検索精度そのものを測った研究でもない。ただ原因の一つとして、埋め込みが量を量として持っていない可能性は十分にありそうだと感じている。 なので量的条件は最初からメタデータの構造化フィルタに逃がし、埋め込みには意味的なトピックの絞り込みだけを任せる設計にした。ベクトルが得意なのは雰囲気の近いものを集めることであって、量が等しいものを判定することではない。この線引きを最初に引けるかどうかが、実用に耐えるRAGとデモ止まりのRAGの分かれ目だと思っている。
1
5
219
Shuhei Shimmyo | マルチモーダルRAG基盤開発 retweeted
38
567
58
7,560
246,238
Jevが流行っているけど、ただのエンコーダー+分類器あるいはセマンティックルータなんじゃないのか。
2
132