非線形の数量化２類と数量化３類の関係

これまで、数量化１類および数量化２類を非線形に拡張し、最適な非線形写像を求め た。ここでは、これらの結果と数量化３類との関係について考察する。

数量化３類は、缶詰のレッテルの好みを調べる官能検査の結果を解析するために林に より開発された多変量データ解析手法である。官能検査では、何人かの女性被験者に 何枚かの缶詰のレッテルを見せて、好きなものに印を付けてもらった [47]。各被験者と各レッテルに数量を与え、どの被験者群がどのレッッ テル群を好むかを明らかにすることが解析の目的である。すなわち、数量化３類は、 表 2.1 のような相伴表あるいは２次元のクロス表が与えられた時、二つの集合間の 該当関係から、二つの集合間の関係を最も良く反映するように集合の各要素に数値を 与える手法である。

表 2.1: 数量化３類のデータ

	$\theta_1$	...	$\theta_j$	...	$\theta_N$
$\omega_1$	$n_{11}$	...	$n_{1j}$	...	$n_{1N}$
.	.		.		.
.	.		.		.
.	.		.		.
$\omega_i$	$n_{i1}$	...	$n_{ij}$	...	$n_{iN}$
.	.		.		.
.	.		.		.
.	.		.		.
$\omega_M$	$n_{M1}$	...	$n_{Mj}$	...	$n_{MN}$

通常、データ $n_{ij}$ は、印のある／なしにより、$1$ あるいは $0$ として与え られるが、ここでは、これを一般化して、$n_{ij}$ は頻度を表す整数とする。この とき、集合 $\Omega$ と $\Theta$ の間の同時確率 $p(\omega \wedge \theta)$ は、与えられた相伴表から

$$p(\omega_i \wedge \theta_j) = \frac{n_{ij}}{\sum_{i=1}^M \sum_{j=1}^N n_{ij}}$$ (68)

として計算される。また、周辺確率 $p(\omega_i)$ および $p(\theta_j)$ と条件付 き確率 $p(\omega_i\vert\theta_j)$ および $p(\theta_j\vert\omega_i)$ は、この同時確率 から自然に計算されるものとする。

数量化３類では、集合 $\Omega$ の各要素 $\omega_i (i=1,\ldots,M)$ に与える数値 $x_i \in R$ と集合 $\Theta$ の各要素 $\theta_j (j=1,\ldots,N)$ に与える数値 $y_j \in R$ を、それらの間の相関係数

$$\rho = \frac{\sigma_{xy}}{\sigma_x \sigma_y}$$ (69)

が極値（$\vert\rho\vert$ が最大）となるよう決める。 ここで、共分散 $\sigma_{xy}$ および分散 $\sigma_x^2$ と $\sigma_y^2$ は

$$\sigma_{xy} = \mbox{\boldmath$x$}^T P \mbox{\boldmath$y$} - (\mbox{\boldmath$1$... ...mega \mbox{\boldmath$x$})(\mbox{\boldmath$1$}_N^T P_\Theta \mbox{\boldmath$y$})$$ (70)

$$\sigma_x^2 = \mbox{\boldmath$x$}^T P_\Omega \mbox{\boldmath$x$} - (\mbox{\bold... ...mega \mbox{\boldmath$x$})(\mbox{\boldmath$1$}_MT^ P_\Omega \mbox{\boldmath$x$})$$ (71)

$$\sigma_y^2 = \mbox{\boldmath$y$}T^ P_\Theta \mbox{\boldmath$y$} - (\mbox{\bold... ...heta \mbox{\boldmath$y$})(\mbox{\boldmath$1$}_N^T P_\Theta \mbox{\boldmath$y$})$$ (72)

と書ける。ただし、 $\mbox{\boldmath$x$}^T = (x_1,\ldots,x_M)$ および $\mbox{\boldmath$y$}^T = (y_1,\ldots,y_N)$ である。

式 (2.69) を $\mbox{\boldmath$x$}$ および $\mbox{\boldmath$y$}$ に関して偏微分して $0$ とおく と、

$$\frac{P \{\mbox{\boldmath$y$} - (\mbox{\boldmath$1$}_N^T P_\Theta... ...dmath$1$}_M^T P_\Omega \mbox{\boldmath$x$}) \mbox{\boldmath$1$}_M \}}{\sigma_x} = 0$$ (73)

$$\frac{P^T \{\mbox{\boldmath$x$} - (\mbox{\boldmath$1$}_M^T P_\Ome... ...dmath$1$}_N^T P_\Theta \mbox{\boldmath$y$}) \mbox{\boldmath$1$}_N \}}{\sigma_y} = 0$$ (74)

となる。今、ベクトル $\tilde{\mbox{\boldmath$x$}}$ および $\tilde{\mbox{\boldmath$y$}}$ を

$$\tilde{\mbox{\boldmath$x$}} = \frac{\mbox{\boldmath$x$} - (\mbox{\boldmath$1$}_M^T P_\Omega \mbox{\boldmath$x$}) \mbox{\boldmath$1$}_M}{\sigma_x}$$ (75)

$$\tilde{\mbox{\boldmath$y$}} = \frac{\mbox{\boldmath$y$} - (\mbox{\boldmath$1$}_N^T P_\Theta \mbox{\boldmath$y$}) \mbox{\boldmath$1$}_N}{\sigma_y}$$ (76)

のように定義すると、 式 (2.73) および (2.74) は、

$$P_{\Theta\vert\Omega}^T \tilde{\mbox{\boldmath$y$}} = \rho \tilde{\mbox{\boldmath$x$}}$$ (77)

$$P_{\Omega\vert\Theta}^T \tilde{\mbox{\boldmath$x$}} = \rho \tilde{\mbox{\boldmath$y$}} .$$ (78)

と書ける。これは、 $\tilde{\mbox{\boldmath$x$}}$ と $\tilde{\mbox{\boldmath$y$}}$ が、それぞれ、他方の 条件付き平均となっていることを示している。これらから、以下のような二つの固有 値問題

$$P_{\Theta\vert\Omega}^T P_{\Omega\vert\Theta}^T \tilde{\mbox{\boldmath$x$}} = \rho^2 \tilde{\mbox{\boldmath$x$}}$$ (79)

$$P_{\Omega\vert\Theta}^T P_{\Theta\vert\Omega}^T \tilde{\mbox{\boldmath$y$}} = \rho^2 \tilde{\mbox{\boldmath$y$}}$$ (80)

が得られる。交差係数行列 $S_{\Omega}$ および $S_{\Theta}$ の定義から、 上式の左辺の行列は、それぞれ、$S_{\Omega}^T$ および $S_{\Theta}^T$ である。 従って、これらの固有方程式は、

$$S_{\Omega}^T \tilde{\mbox{\boldmath$x$}} = \rho^2 \tilde{\mbox{\boldmath$x$}}$$ (81)

$$S_{\Theta}^T \tilde{\mbox{\boldmath$y$}} = \rho^2 \tilde{\mbox{\boldmath$y$}}.$$ (82)

と書ける。

この時、 $\tilde{\mbox{\boldmath$x$}}$ および $\tilde{\mbox{\boldmath$y$}}$ の定義から、 これらのベクトルは、条件

$$\mbox{\boldmath$1$}_M^T P_\Omega \tilde{\mbox{\boldmath$x$}} = 0$$ (83)

$$\mbox{\boldmath$1$}_N^T P_\Theta \tilde{\mbox{\boldmath$y$}} = 0.$$ (84)

を満足しなければならない。しかし、非線形の数量化２類の場合と同様に、交差係数 行列の最大固有値に対応する固有ベクトルは、この条件を満足しない。従って、 $\tilde{\mbox{\boldmath$x$}}$ および $\tilde{\mbox{\boldmath$y$}}$ の解として、２番目に大きな固有値に 対応する固有ベクトルを採用しなければならない。

以上の議論では、各要素に与えられる数値 $\{x_i\}$ および $\{y_j\}$ は $1$ 次元としたが、 固有方程式

$$[ \Gamma_{\Omega} - \mbox{\boldmath$p$}_{\Omega} \mbox{\boldmath$p$}_{\Omega}^T] X = P_{\Omega} X \Lambda$$ (85)

$$Y = P_{\Theta} Y \Lambda$$ (86)

から $L$ 次元のスコア $X$ および $Y$ を求めることが可能である。 また、それらは互いに、

$$X = P_{\Theta \vert \Omega}^T Y \Lambda^{-\frac{1}{2}}$$ (87)

$$Y = P_{\Omega\vert\Theta}^T X \Lambda^{-\frac{1}{2}}$$ (88)

で関係付けられている。ここで、

$$X = \left[ \begin{array}{c} \tilde{\mbox{\boldmath$x$}}_1^T \\ \vdot... ...math$y$}}_1^T \\ \vdots \\ \tilde{\mbox{\boldmath$y$}}_N^T \end{array}\right]$$ (89)

$$\Lambda = \mbox{diag}(\rho_1^2,\ldots,\rho_L^2) .$$ (90)

である。

スコア $X$ および $Y$ の正規化条件は、普通、

$$X^T P_\Omega X = I_L$$ (91)

$$Y^T P_\Theta Y = I_L$$ (92)

で与えられる。

次に非線形の数量化１類および非線形の数量化２類と数量化３類との関係について考 察する。非線形の数量化１類の最適な非線形写像は、説明変数 $\mbox{\boldmath$u$}_i$ のもとで の従属変数 $\mbox{\boldmath$v$}$ の条件付き平均値であった。また、非線形の数量化２類の最適な 非線形判別写像は交差係数行列 $S_{\Theta}$ の固有値問題から得られるクラス代表 ベクトル $\mbox{\boldmath$y$}_j$ の Bayes 事後確率 $p(\theta_j\vert\omega_i)$ を重み係数とす る線形結合によって与えられた。従って、この非線形判別写像は、 $\mbox{\boldmath$u$}_i$ を説 明変数とし、 $\Lambda^{-\frac{1}{2}}\mbox{\boldmath$y$}_j$ を従属変数とする非線形の数量化 １類により得られる最適な非線形写像であるとみなすことができる。

一方、数量化３類のスコア $\{ \mbox{\boldmath$x$}_i \}$ および $\{ \mbox{\boldmath$y$}_j \}$ は、交差係 数行列の固有値問題の解として求まる。また、スコア $\mbox{\boldmath$x$}_i$ は、 $\Lambda^{-\frac{1}{2}}\mbox{\boldmath$y$}_j$ の条件付き平均値であり、スコア $\mbox{\boldmath$y$}_j$ は、 $\Lambda^{-\frac{1}{2}} \mbox{\boldmath$x$}_i$ の条件付き平均値でもある。

すなわち、非線形の数量化２類により得られる最適な非線形判別写像 $\{ \mbox{\boldmath$x$}_i \}$ と数量化３類のスコア $\{ \mbox{\boldmath$x$}_i \}$ は、いずれも、交差係 数行列の固有値問題の解 $\{ \mbox{\boldmath$y$}_j \}$ の条件付き確率を重み係数とする線形結 合により与えられ、二つの集合間の確率的な構造のみから決まる。このことは、非線 形の数量化２類と数量化３類が二つの集合間の確率的な関係から情報を抽出する手法 として、全く同じものであることを意味する。また、数量化３類の $\{ \mbox{\boldmath$x$}_i \}$ と $\{ \mbox{\boldmath$y$}_j \}$ の双対性から、非線形の数量化２類の判別写像 $\{ \mbox{\boldmath$x$}_i \}$ は、直接、交差係数行列 $S_{\Omega}$ の固有値問題を解くこと によっても求まることがわかる。