うろ覚えPCA定式化まとめ．

n：サンプルサイズ
m：変数の数
p：主成分の数
$\mathbf{X}$ ： $n \times m$ の列中心化(平均=0に)されたデータ行列
$\mathbf{Z}$ ： $n \times m$ の標準化(平均=0, 分散=1)されたデータ行列
$\mathbf{W}$ ： $m \times p$ の主成分係数行列
$\mathbf{A}$ ： $m \times p$ の主成分負荷行列
$\mathbf{F}$ ： $n \times p$ の主成分得点行列

固有値分解
$n^{-1}\mathbf{X'X} = \mathbf{L \Lambda^2 L}$

特異値分解
$n^{-\frac{1}{2}}\mathbf{X} = \mathbf{K \Lambda L}'$

特に断りなく，下付き添え字で上位 $p$ 番目までの固有(特異)ベクトル・値を表すことがあるので要注意．

教科書的な定式化：分散最大化の原理

maximize $n^{-1} \mathrm{tr}(\mathbf{W}'\mathbf{X}'\mathbf{XW})$ over $\mathbf{W}$ subject to $\mathbf{W}'\mathbf{W}=\mathbf{I}_p$

得られる主成分得点 $\mathbf{XW}=\mathbf{F}$ について次が成立する．

・ $\mathbf{F}=\mathbf{K}_p \mathbf{\Lambda}_p$
・ $\mathbf{F}'\mathbf{F} = \mathbf{\Lambda^2}_p$
→ $\mathbf{X}$ 中の各変数の分散＝分散共分散行列 $n^{-1}\mathbf{X}'\mathbf{X}$ の対角要素
→対角要素の和＝固有値の和→　 $\mathbf{\Lambda^2}_p$ 　を適合度基準として利用可能．

成分負荷基準：低階数最良近似としての定式化(うちのボスの好み)

minimize $\mathrm{SS}(\mathbf{X} - \mathbf{FA}')$ over $\mathbf{F}$ and $\mathbf{A}$ subject to $\mathbf{F}'\mathbf{F} = \mathbf{I}_p$ ,

これを与える $\mathbf{F}, \mathbf{A}$ はそれぞれ
$\mathbf{F} = \mathbf{K}_p$
$\mathbf{A} = \mathbf{L}_p \mathbf{\Lambda}_p$

ここまでメジャーな2通りの定式化．さぁマイナーなんいってみよう

低次元空間への射影による定式化

minimize $\mathrm{SS}(\mathbf{X} - \mathbf{XP})$ over $\mathbf{P}$ subject to $\mathbf{PP} = \mathbf{P}, \mathbf{P}'=\mathbf{P}$

この制約は $\mathbf{P}$ が直交射影行列であることを表す．
この場合明示的に成分得点は得られないが
$\mathbf{P}=\mathbf{L}_p'\mathbf{L}_p$
で基準の最適化が達成され，
$\mathbf{XP}=\mathbf{K}_p \mathbf{\Lambda}_p \mathbf{L}_p'$
となるため，
$\mathbf{F} = \mathbf{K}_p$ もしくは
$\mathbf{F} = \mathbf{K}_p \mathbf{\Lambda}_p$
を成分得点とみなすことが適当だろう．

$\mathbf{Z}$ への主成分分析でのみ成り立つ基準化いってみよう

等質性基準による方法

$\mathbf{Z}=[\mathbf{z}_1 \cdots \mathbf{z}_m ], \mathbf{A}=[\mathbf{a}_1 \cdots \mathbf{a}_m ]'$ （ $\mathbf{z}_j$ は $\mathbf{Z}$ のj番列ベクトル， $\mathbf{a}_j$ は $\mathbf{A}$ のj番行ベクトル）を用いて

minimize $\displaystyle{\sum_{j=1}^{m}}\mathrm{SS}(\mathbf{z}_j \mathbf{a}_j' - \mathbf{F})$ over $\mathbf{A} and \mathbf{F}$ subject to $\mathbf{F}'\mathbf{F} = \mathbf{I}_p$

$\mathbf{F} = \mathbf{K}_p$ ， $\mathbf{A} = \mathbf{L}_p \mathbf{\Lambda}_p$
で最適化される．

PCAMIXとの兼ね合いによる基準

Maximize $\displaystyle{\sum_{j=1}^{m}} \mathrm{tr}(\mathbf{F} \mathbf{z}_j \mathbf{z}_j'\mathbf{F})$ over $\mathbf{F}$ subject to $\mathbf{F}'\mathbf{F} = \mathbf{I}_p$

うろ覚えがMaximizeされてきた

こいつらをベースに関連手法をさらっていく

K-meansとのMash-UP手法集

Reduced K-means (成分負荷基準ベース)

minimize $\mathrm{SS}(\mathbf{X} - \mathbf{UC})$ over $\mathbf{U},\mathbf{C}$ subject to $\mathbf{U}$ :binary membership matrix, $\mathrm(rank)(\mathbf{C})=p$

$\mathbf{C}=\mathbf{F}\mathbf{A}'$ とreparametrizeすれば成分負荷基準だとわかる．

Factorial K-means (低次元空間への射影ベース)

minimize $\mathrm{SS}(\mathbf{XAA}' - \mathbf{UFA}')$ over $\mathbf{A},\mathbf{F}, \mathbf{A}$ subject to $\mathbf{U}$ :binary membership matrix, $\mathbf{A}'\mathbf{A}=\mathbf{I}_p$