特異値分解が固有値分解と決定的に違う点は、成立条件の緩さにあります。固有値分解は正方行列にしか定義できず、しかも対角化できる保証があるのは対称行列など性質の良い行列に限られます。特異値分解は行数と列数が一致しない長方形の行列であっても、ランクが落ちていても、常にA=UΣVTという形に分解できます。拡張版という理解は方向として間違っていませんが、この無条件の存在性こそが、実務で特異値分解が選ばれ続ける理由の土台になっています。 存在性と並んで語られるべきなのが、低ランク近似の優秀さです。小さい特異値を切り捨てて行列を再構成する操作が、再構成誤差をフロベニウスノルムの意味で最小にすることはエッカート・ヤングの定理として証明されています。ただし完全な分解自体はUとΣとVの三つをすべて保持する必要があり、固有値分解に比べて計算量もメモリ消費も重くなる場合があるという代償は残ります。何に対して最良な近似なのかという前提とあわせて、この代償も一緒に覚えておきたいところです。 主成分分析との関係を、同じものだと思い込むと足をすくわれます。主成分分析はデータを中心化したうえで分散共分散行列を作り、それを固有値分解して主成分の方向を得る手続きです。ここで誤解しやすいのが、共分散行列が正則でなければ計算できないという思い込みです。実際には特徴量の数が標本数以上という、実務でよくある設定では中心化後の共分散行列の階数は標本数より小さくなり、むしろ特異になるのが普通です。それでも固有値分解自体はゼロ固有値を含む形で問題なく実行でき、分散がゼロの方向が出てくるだけの話にとどまります。正則性は主成分分析が成立するための条件ではなく、別の計算、たとえば逆行列を使うマハラノビス距離のような計算で必要になる話であって、ここを混同すると議論の土台がずれます。 実装の現場で共分散行列を経由せず、データ行列に直接特異値分解をかける書き方が好まれるのは、数値誤差の伝わり方が違うからです。共分散行列を作る操作は、行列の条件数を二乗する効果を持ちます。わずかな丸め誤差が、共分散行列を経由する計算では増幅されて主成分の方向を歪めることがありますが、データ行列へ直接特異値分解をかける経路ではこの二乗を避けられます。同じく順序を取り違えやすいのが擬似逆行列との関係で、A+=VΣ+UTはこの分解から作れる派生物であって、ランク落ちを成立させるための仕組みではありません。特異値分解はランクにかかわらずA=UΣVTという形で直接存在し、階数が不足している部分はゼロの特異値として表れるだけです。今夜のところは、常に存在するというこの一点だけを持ち帰れば十分でしょう。