画像モデルと言語モデルを完全に独立に学習していても、埋め込み空間の幾何構造のみから、画像と文章の意味的な対応関係を推定できることが以下の論文で示された。 "Shared Geometry as a Rosetta Stone: Cross-Modal Alignment Without Paired Data" これはPlatonic Representation Hypothesis、つまり異なるモデルが共通の世界構造に対応する表現へと収束するという仮説を、実際の異種モダリティ間の接続を通じて部分的に裏付けた研究といえる。 従来、別々に学習された画像モデルと言語モデルの表現を接続するには、画像と文章の対応ペアを利用することが一般的だった。 しかし、例えば画像側に犬、猫、道路、自動車、人に対応する表現があり、文章側にもそれらの意味に対応する表現がある場合、「犬と猫は近く、自動車と道路も近い」といった表現間の相対的な位置関係が似ていれば、対応ペアを知らなくても両者を重ね合わせられる可能性がある。 この実現において中心となるのが、Wasserstein Procrustesという枠組みである。 \min_{W,T } \sum_{i,j}T_{ij} |x_iW-y_j|^2 これは、両者を対応付ける変換行列Wと、サンプル同士の対応関係Tを同時に推定する最適化問題である。ここでWは半直交行列、Tは輸送計画であり、変換は距離や角度を保存するように制約されている。 この最適化問題は非凸であり、適切な初期値がなければ解くことが難しい。そこで、本論文では次の3段階の方法を採用する。 1. 粗い幾何構造の整合 それぞれの埋め込み空間を30クラスタに分け、クラスタ中心間の類似度構造が可能な限り一致するように対応付ける。このために、CKA（Centered Kernel Alignment）を最大化する二次割当問題を解く。 2. 疑似ペアの生成 クラスタ間の対応関係から、個々のサンプル間の対応関係を推定する。具体的には、線形割当アルゴリズムを使って画像と言語の疑似ペアを構築する。 3. Procrustesによる反復改善 疑似ペアから最適な直交変換Wを求め、変換後の類似度から新しい対応関係を推定し直す。これを反復することで、対応付けの精度を改善する。 実験では、30クラスタ、30回の初期化、バッチサイズ10,000、100回の改善反復を使用している。 これにより、ペアなしの画像・文章対応付けにおいて従来手法を大きく上回る性能を達成している。さらに、少数の教師ペアを追加するだけで対応付けの精度が大幅に改善し、従来手法よりも高いデータ効率を実現していることも示している。 また、画像と言語だけでなく、RNA発現とクロマチンアクセシビリティ、異なる被験者のfMRI、質量スペクトルと分子構造といった異なるモダリティ間の対応付けにも適用し、一定の成功を収めている。 ただし、この手法が有効に機能するかどうかは、独立に学習された表現がどの程度似た幾何構造を持っているかに大きく左右される。 コメント === 異なるモダリティの表現をペアデータなしで対応付けることは、以前から重要かつ困難な研究課題として知られていた。 古くは異なる言語間の埋め込み空間を対応付ける研究があり、その後、画像と言語のような異種モダリティ間の対応付けへと研究が広がってきた。 今回、異なるモダリティ間でも粗い幾何構造が共通しており、細かな構造までは一致していなくても、比較的単純な手法によって十分に良い初期対応を得られることを示した点は興味深い。 この成果には、事前学習によって得られる表現の質が向上し、異なるモデル間でも共通する意味構造が現れやすくなっていることが大きく貢献していると考えられる。 一方で、なぜ独立に学習された異なるモダリティのモデルが、このような共通の幾何構造を獲得するのかは、まだ十分に理解されていない。さらに、どのような情報や構造がモダリティを超えて普遍的に現れ、どのような情報がモダリティ固有のものとして残るのかもまだ分かっていない。