次の定理は線形代数学の重要定理で，統計学などの応用分野でもしばしば使われます．
半正定値の$n$次実対称行列$\Sigma$に対して，$\Sigma=A^2$を満たす半正定値の$n$次実対称行列$A$が一意に存在する．
この定理は主に
- 半正定値行列の固有値は全て０以上である
- 実対称行列が直交行列により対角化される
という２つの事実を組み合わせて証明できます．
この記事では
- 準備（実対称行列の対角化・半正定値）
- 半正定値行列は半正定値行列の平方根を一意にもつ
- 半正定値行列の平方根の基本性質
- 半正定値行列の平方根の応用例
を順に解説します．
準備（実対称行列の対角化・半正定値）
まずはこの記事で重要な
- 実対称行列の直交行列による対角化
- 実対称行列の半正定値
を確認しておきましょう．
実対称行列の直交行列による対角化
まずは直交行列の定義を確認しておきましょう．
実正方行列$P$が直交行列（orthogonal matrix）であるとは，$PP^T=P^TP=I$が成り立つことをいう．
一般に正方行列$A$, $B$が$AB=I$を満たせば$BA=I$が成り立つので，定義としては$PP^T=I$または$P^TP=I$のどちらかでも必要十分です．
$PP^T=P^TP=I$が成り立てば$P^{-1}=P^T$ですから，「直交行列は逆行列が自身の転置行列である実正方行列」ということができますね．
さて，実対称行列がいつでも直交行列により対角化できることは，線形代数学の重要定理としてよく知られています．
$n$次実対称行列$\Sigma$に対して，ある$n$次直交行列$P$が存在して，$\Sigma$は$P$により対角化可能である．すなわち，$P^{-1}\Sigma P$が対角行列となる．
$P$が直交行列なら$P^{-1}\Sigma P=P^T \Sigma P$とも書けることに注意しましょう．
実対称行列の半正定値
実対称行列の定値性には，正定値・半正定値・負定値・半負定値がありますが，この記事で重要となるのは半正定値性です．
$n$次実対称行列$\Sigma$が半正定値行列（positive semidefinite matrix）であるとは，任意の$\m{x}\in\R^n$に対して
\begin{align*}\m{x}^T\Sigma\m{x}\ge0\end{align*}
が成り立つことをいう．
半正定値行列であることの必要十分条件は次のように固有値を用いて述べることもできます．
実対称行列$\Sigma$に対して，次は同値である．
- $\Sigma$は半正定値行列（positive semidefinite matrix）である．
- $\Sigma$の固有値は全て０以上である．
この定理も実対称行列の直交行列による対角化を用いて証明できます．
半正定値行列は半正定値行列の平方根を一意にもつ
本題の冒頭の定理を証明しましょう．
半正定値の$n$次実対称行列$\Sigma$に対して，$\Sigma=A^2$を満たす半正定値の$n$次実対称行列$A$が一意に存在する．
$\Sigma$がより強く正定値であれば，$A$も正定値となります．このことは以下の証明と同様に示せます．
半正定値行列$A$の存在の証明
$\Sigma$の固有値を重複を許して$\lambda_1,\dots,\lambda_n$とする．$\Sigma$は半正定値なので$\lambda_i\ge0$だから，$\sqrt{\lambda_i}$は非負実数として定まることに注意する（$i=1,2,\dots,n$）．また，$\Sigma$は実対称行列なので，ある$n$次直交行列$P$が存在して
\begin{align*}P^{-1}\Sigma P=\bmat{\lambda_1&0&\dots&0\\0&\lambda_2&\ddots&\vdots\\\vdots&\ddots&\ddots&0\\0&\dots&0&\lambda_n}\end{align*}
が成り立つ．ここで，
\begin{align*}B:=\bmat{\sqrt{\lambda_1}&0&\dots&0\\0&\sqrt{\lambda_2}&\ddots&\vdots\\\vdots&\ddots&\ddots&0\\0&\dots&0&\sqrt{\lambda_n}}\end{align*}
とおく．$P^{-1}\Sigma P=B^2$なので
\begin{align*}\Sigma=PB^2P^{-1}=(PBP^{-1})^2=(PBP^T)^2\end{align*}
が成り立つから，$A:=PBP^T$とおけば$\Sigma=A^2$が成り立つ．
$P$, $B$, $P^T$は全て実正方行列だから$A$も実正方行列で
\begin{align*}A^T=(PBP^T)^T=(P^T)^TB^TP^T=PBP^T=A\end{align*}
だから，$A$は実対称行列である．また，$B$の固有値$\sqrt{\lambda_1},\dots,\sqrt{\lambda_n}$は全て０以上だから，$B$は半正定値である．よって，任意の$\m{x}\in\R^n$に対して，
\begin{align*}\m{x}^TA\m{x}=\m{x}^TPBP^T\m{x}=(P^T\m{x})^TB(P^T\m{x})\ge0\end{align*}
が成り立つから，$A$は半正定値である．
半正定値行列$A$の一意性の証明
$\Sigma=A_1^2=A_2^2$を満たす半正定値の$n$次実対称行列$A_1$, $A_2$を任意にとる．$\Sigma$の任意の固有値$\lambda$をとり，$\lambda$の固有空間$W$をとる．
$\Sigma$は対角化可能だから$\R^n$は$\Sigma$の全ての固有空間の和空間（直和）で表せるので，任意の$\m{x}\in W$に対して$A_1\m{x}=A_2\m{x}$を示せば$A_1=A_2$が従う．
任意に$k\in\{1,2\}$をとる．
\begin{align*}A_k\Sigma=A_kA_k^2=A_k^2A_k=\Sigma A_k\end{align*}
より，任意の$\m{x}\in W$に対して
\begin{align*}\Sigma(A_k\m{x})=A_k(\Sigma\m{x})=A_k(\lambda\m{x})=\lambda(A_k\m{x})\end{align*}
となるので$A_k\m{x}\in W$だから，線形変換$T_k:W\to W;\m{x}\mapsto A_k\m{x}$が定まる．
ここで，$k$によらず$T_k=\sqrt{\lambda}I_W$であることを示せば，$T_1=T_2$が成り立つので，任意の$\m{x}\in W$に対して$A_1\m{x}=A_2\m{x}$が従う．ただし，$I_W$は$W$上の恒等写像である．
［１］$\lambda=0$のとき，任意の$\m{x}\in W$に対して
\begin{align*}\|T_k\m{x}\|^2&=\|A_k\m{x}\|^2=\anb{A_k\m{x},A_k\m{x}}=\anb{A_k^2\m{x},\m{x}}
\\&=\anb{\Sigma\m{x},\m{x}}=\anb{\lambda\m{x},\m{x}}=\lambda\|\m{x}\|^2=0\end{align*}
だから，$T_k\m{x}=\m{0}$なので$T_k=0I_W$が従う．
［２］$\lambda>0$のとき，任意の$\m{x}\in W\setminus\{\m{0}\}$に対して
\begin{align*}T_k^2\m{x}=A_k^2\m{x}=\Sigma\m{x}=\lambda\m{x}=\lambda I_W(\m{x})\end{align*}
だから，$(T_k-\sqrt{\lambda}I_W)(T_k+\sqrt{\lambda}I_W)=0$が成り立つ．また，$A_k$は実対称行列だから$T_k$は対称変換で
\begin{align*}\anb{(T_k+\sqrt{\lambda}I_W)\m{x},\m{x}}=\m{x}^TA_k\m{x}+\sqrt{\lambda}\|\m{x}\|^2>0\end{align*}
なので，$T_k+\sqrt{\lambda}I_W$は正定値なので可逆だから$T_k=\sqrt{\lambda}I_W$が従う．
注意（半正定値に限らなければ平方根は一意でない）
例えば，単位行列$I$は正定値の実対称行列ですが，
\begin{align*}I^2=I,\quad
(-I)^2=I\end{align*}
なので，２乗して$I$となる実正方行列は複数存在します．上で示した定理は「２乗して$\Sigma$となる『半正定値行列』が一意に存在する」ということに注意してください．
半正定値行列の平方根の基本性質
いまの定理をもとに，次のように半正定値行列の平方根が定義できます．
半正定値の$n$次実対称行列$\Sigma$に対して，$\Sigma=A^2$を満たす半正定値の$n$次実対称行列$A$を$\Sigma$の平方根といい$\Sigma^{1/2}$と表す．
以下，半正定値行列の平方根の基本性質を示しましょう．
可換な半正定値行列の平方根も可換
可換で半正定値な実対称行列$\Sigma_1$, $\Sigma_2$に対して，$\Sigma_1^{1/2}$と$\Sigma_2^{1/2}$も可換で，積$\Sigma_1^{1/2}\Sigma_2^{1/2}$は半正定値である．
$\Sigma_1^{1/2}$と$\Sigma_2^{1/2}$の可換性の証明
一般に可換な実対称行列は同時対角化可能だから，ある正則行列$P$が存在して
\begin{align*}P^{-1}\Sigma_1P=\bmat{\lambda_1&0&\dots&0\\0&\lambda_2&\ddots&\vdots\\\vdots&\ddots&\ddots&0\\0&\dots&0&\lambda_n},\quad
P^{-1}\Sigma_2P=\bmat{\mu_1&0&\dots&0\\0&\mu_2&\ddots&\vdots\\\vdots&\ddots&\ddots&0\\0&\dots&0&\mu_n}\end{align*}
が成り立つ．このとき，
\begin{align*}P^{-1}\Sigma_1^{1/2}P=\bmat{\sqrt{\lambda_1}&0&\dots&0\\0&\sqrt{\lambda_2}&\ddots&\vdots\\\vdots&\ddots&\ddots&0\\0&\dots&0&\sqrt{\lambda_n}},\quad
P^{-1}\Sigma_2^{1/2}P=\bmat{\sqrt{\mu_1}&0&\dots&0\\0&\sqrt{\mu_2}&\ddots&\vdots\\\vdots&\ddots&\ddots&0\\0&\dots&0&\sqrt{\mu_n}}\end{align*}
なので，
\begin{align*}\Sigma_1^{1/2}\Sigma_2^{1/2}
=P\bmat{\sqrt{\lambda_1\mu_1}&0&\dots&0\\0&\sqrt{\lambda_2\mu_2}&\ddots&\vdots\\\vdots&\ddots&\ddots&0\\0&\dots&0&\sqrt{\lambda_n\mu_n}}P^{-1}
=\Sigma_2^{1/2}\Sigma_1^{1/2}\end{align*}
だから，$\Sigma_1^{1/2}$と$\Sigma_2^{1/2}$は可換である．
積$\Sigma_1^{1/2}\Sigma_2^{1/2}$の半正定値性の証明
実行列$\Sigma_1^{1/2}$と$\Sigma_2^{1/2}$の積だから$\Sigma_1^{1/2}\Sigma_2^{1/2}$も実行列である．また，前半で示したように$\Sigma_1^{1/2}$と$\Sigma_2^{1/2}$は可換だから
\begin{align*}(\Sigma_1^{1/2}\Sigma_2^{1/2})^T=(\Sigma_2^{1/2})^T(\Sigma_1^{1/2})^T=\Sigma_2^{1/2}\Sigma_1^{1/2}=\Sigma_1^{1/2}\Sigma_2^{1/2}\end{align*}
となり$\Sigma_1^{1/2}\Sigma_2^{1/2}$は対称である．
さらに，積$\Sigma_1^{1/2}\Sigma_2^{1/2}$の固有値$\sqrt{\lambda_i\mu_i}$（$i=1,2,\dots,n$）は全て０以上なので積$\Sigma_1^{1/2}\Sigma_2^{1/2}$は半正定値である．
この命題より，次のように$\Sigma_1$と$\Sigma_2^{1/2}$が可換であることも従いますね：
\begin{align*}\Sigma_1\Sigma_2^{1/2}=\Sigma_1^{1/2}\Sigma_1^{1/2}\Sigma_2^{1/2}=\Sigma_1^{1/2}\Sigma_2^{1/2}\Sigma_1^{1/2}=\Sigma_2^{1/2}\Sigma_1^{1/2}\Sigma_1^{1/2}=\Sigma_2^{1/2}\Sigma_1.\end{align*}
可換な半正定値行列の積の平方根
一般に対称行列の積は対称行列とは限りませんが，可換な対称行列$\Sigma_1$, $\Sigma_2$の積$\Sigma_1\Sigma_2$は対称行列となります．さらに，$\Sigma_1$, $\Sigma_2$が半正定値であれば積$\Sigma_1\Sigma_2$も半正定値となり，次が成り立ちます．
可換で半正定値な実対称行列$\Sigma_1$, $\Sigma_2$に対して，積$\Sigma_1\Sigma_2$は半正定値の実対称行列で
\begin{align*}\Sigma_1^{1/2}\Sigma_2^{1/2}=(\Sigma_1\Sigma_2)^{1/2}\end{align*}
が成り立つ．
積$\Sigma_1\Sigma_2$の半正定値性の証明
実行列$\Sigma_1$, $\Sigma_2$の積なので積$\Sigma_1\Sigma_2$は実であり，$\Sigma_1$と$\Sigma_2$は可換だから
\begin{align*}(\Sigma_1\Sigma_2)^T=\Sigma_2^T\Sigma_1^T=\Sigma_2\Sigma_1=\Sigma_1\Sigma_2\end{align*}
なので$\Sigma_1\Sigma_2$は対称行列である．また，$\Sigma_2$は半正定値行列であり，前命題より$\Sigma_1^{1/2}$と$\Sigma_2$は可換なので，任意の$\m{x}\in\R^n$に対して
\begin{align*}\m{x}^T\Sigma_1\Sigma_2\m{x}=\m{x}^T(\Sigma_1^{1/2})^2\Sigma_2\m{x}=(\Sigma_1^{1/2}\m{x})^T\Sigma_2(\Sigma_1^{1/2}\m{x})\ge0\end{align*}
となり，積$\Sigma_1\Sigma_2$も半正定値行列である．
等式の証明
前命題より，積$\Sigma_1^{1/2}\Sigma_2^{1/2}$は半正定値である．また，$\Sigma_1^{1/2}$と$\Sigma_2^{1/2}$は可換だから
\begin{align*}(\Sigma_1^{1/2}\Sigma_2^{1/2})^2=\Sigma_1^{1/2}\Sigma_2^{1/2}\Sigma_1^{1/2}\Sigma_2^{1/2}=\Sigma_1\Sigma_2\end{align*}
なので，$\Sigma_1^{1/2}\Sigma_2^{1/2}$は$\Sigma_1\Sigma_2$の平方根だから$\Sigma_1^{1/2}\Sigma_2^{1/2}=(\Sigma_1\Sigma_2)^{1/2}$が成り立つ．
正定値行列の逆行列の平方根
正定値行列$\Sigma$は固有値が全て正の実対称行列なので正則行列で，逆行列$\Sigma^{-1}$も正定値行列となり，次が成り立ちます．
正定値の実対称行列$\Sigma$に対して，逆行列$\Sigma^{-1}$は正定値の実対称行列で
\begin{align*}(\Sigma^{-1})^{1/2}=(\Sigma^{1/2})^{-1}\end{align*}
が成り立つ．
逆行列$\Sigma^{-1}$の正定値性の証明
実行列$\Sigma$の逆行列なので$\Sigma^{-1}$は実であり，$\Sigma$は対称行列だから
\begin{align*}(\Sigma^{-1})^T=(\Sigma^T)^{-1}=\Sigma^{-1}\end{align*}
なので$\Sigma^{-1}$は対称行列である．また，$\Sigma$は正定値なので，任意の$\m{x}\in\R^n\setminus\{\m{0}\}$に対して
\begin{align*}\m{x}^T\Sigma^{-1}\m{x}=\m{x}^T\Sigma^{-1}\Sigma\Sigma^{-1}\m{x}=(\Sigma^{-1}\m{x})^T\Sigma(\Sigma^{-1}\m{x})>0\end{align*}
となり，$\Sigma^{-1}$も正定値行列である．
等式の証明
この証明の前半で示したことより，正定値$\Sigma^{1/2}$の逆行列$(\Sigma^{1/2})^{-1}$も正定値である．また，
\begin{align*}((\Sigma^{1/2})^{-1})^2=(\Sigma^{1/2})^{-1}(\Sigma^{1/2})^{-1}=(\Sigma^{1/2}\Sigma^{1/2})^{-1}=\Sigma^{-1}\end{align*}
なので，$(\Sigma^{1/2})^{-1}$は$\Sigma^{-1}$の平方根だから$(\Sigma^{-1})^{1/2}=(\Sigma^{1/2})^{-1}$が成り立つ．
正定値の実対称行列$\Sigma$に対して，$(\Sigma^{-1})^{1/2}$, $(\Sigma^{1/2})^{-1}$を$\Sigma^{-1/2}$と表します．
半正定値行列の平方根の応用例
半正定値行列の平方根の応用例として，多変量正規分布に関する議論を紹介します．
多変量正規分布に従う確率変数ベクトルの標準化
$n$次元正規分布$N_n(\m{\mu},\Sigma)$に従う確率変数ベクトル$\m{X}$について，$\Sigma$の非対角成分は０とは限りませんから$\m{X}$の各成分は独立であるとは限りません．
ところが，$\Sigma$の平方根$\Sigma^{1/2}$を用いて１次元の標準化に相当する変換を行うことで，$\m{Z}$の各成分は独立に標準正規分布$N(0,1)$に従います．すなわち，$\m{Z}\sim N_n(\m{0},I)$となります．
$\m{\mu}\in\R^n$と正定値の$n$次実対称行列$\Sigma$に対して，$n$次元正規分布$N_n(\m{\mu},\Sigma)$を考える．このとき，$\m{X}\sim N_n(\m{\mu},\Sigma)$に対して，
\begin{align*}\m{Z}:=\Sigma^{-1/2}(\m{X}-\m{\mu})\sim N_n(\m{0},I)\end{align*}
が成り立つ．
この命題の変換は１次元の$X\sim N(\mu,\sigma^2)$に対する標準化$Z:=\frac{X-\mu}{\sigma}$の多次元版と捉えられます．
一般に$n$次実正則行列$A$と$\m{b}\in\R^n$に対して，
\begin{align*}A\m{X}+\m{b}\sim N_n(A\m{\mu}+\m{b},A\Sigma A^T)\end{align*}
が成り立つことに注意する．$\m{Z}=\Sigma^{-1/2}\m{X}-\Sigma^{-1/2}\m{\mu}$なので，$A=\Sigma^{-1/2}$, $\m{b}=-\Sigma^{-1/2}\m{\mu}$となっているので，
\begin{align*}\m{Z}\sim N_n(\m{0},\Sigma^{-1/2}\Sigma(\Sigma^{-1/2})^T)\end{align*}
である．$\Sigma^{1/2}$は対称行列だから$\Sigma^{-1/2}$も対称行列であることに注意して，
\begin{align*}\Sigma^{-1/2}\Sigma(\Sigma^{-1/2})^T=\Sigma^{-1/2}(\Sigma^{1/2})^2\Sigma^{-1/2}=I\end{align*}
となるから，$\m{Z}\sim N_n(\m{0},I)$が従う．
多変量正規分布の積率母関数
いま証明した命題（と１次元正規分布の積率母関数）を用いると，多変量正規分布の積率母関数を求めることができます．
$\m{\mu}\in\R^n$と正定値の$n$次実対称行列$\Sigma$に対して，$n$次元正規分布$N_n(\m{\mu},\Sigma)$を考える．このとき$\m{X}\sim N_n(\m{\mu},\Sigma)$の積率母関数は
\begin{align*}M_{\m{X}}(\m{t})=\exp\bra{\m{t}^T\m{\mu}+\frac{1}{2}\m{t}^T\Sigma\m{t}}\quad(t\in\R^n)\end{align*}
である．
１次元の$X\sim N(\mu,\sigma^2)$に対する積率母関数は$M_X(t)=\exp(\mu t+\frac{1}{2}\sigma^2 t^2)$（$t\in\R$）です．
$\m{Z}=\sbmat{Z_1\\\vdots\\Z_n}:=\Sigma^{-1/2}(\m{X}-\m{\mu})$とおく．$\m{X}$の積率母関数の定義は
\begin{align*}M_{\m{X}}(\m{t})=E[\exp(\m{t}^T\m{X})],\quad\m{t}\in\R^n\end{align*}
である．任意の$\m{t}\in\R^n$に対して，$\m{s}^T:=\m{t}^T\Sigma^{1/2}$とおくと
\begin{align*}M_{\m{X}}(\m{t})&=E[\exp(\m{t}^T(\Sigma^{1/2}\m{Z}+\m{\mu}))]
\\&=\exp(\m{t}^T\m{\mu})E[\exp(\m{s}^T\m{Z})]\end{align*}
である．最右辺の期待値は$\m{s}=\sbmat{s_1\\\vdots\\s_n}$とおくと
\begin{align*}E[\exp(\m{s}^T\m{Z})]=E[e^{s_1Z_1}e^{s_2Z_2}\dots e^{s_nZ_n}]\end{align*}
であり，前命題より$\m{Z}\sim N_n(\m{0},I)$なので$Z_1,\dots,Z_n$はi.i.d.に$N(0,1)$に従うから，さらに
\begin{align*}E[\exp(\m{s}^T\m{Z})]&=E[e^{s_1Z_1}]E[e^{s_2Z_2}]\dots E[e^{s_nZ_n}]
\\&=\exp(\frac{1}{2}s_1^2)\exp(\frac{1}{2}s_2^2)\dots\exp(\frac{1}{2}s_n^2)
\\&=\exp(\frac{1}{2}\m{s}^T\m{s})\end{align*}
となる．
\begin{align*}\m{s}^T\m{s}
=(\m{t}^T\Sigma^{1/2})(\m{t}^T\Sigma^{1/2})^T
=\m{t}^T\Sigma^{1/2}(\Sigma^{1/2})^T\m{t}
=\m{t}^T\Sigma^{1/2}\Sigma^{1/2}\m{t}
=\m{t}^T\Sigma\m{t}\end{align*}
だから，以上を併せて
\begin{align*}M_{\m{X}}(\m{t})=\exp\bra{\m{t}^T\m{\mu}+\frac{1}{2}\m{t}^T\Sigma\m{t}}\quad(t\in\R^n)\end{align*}
を得る．
各成分が独立な$\m{Z}$に変換することにより
\begin{align*}E[e^{s_1Z_1}e^{s_2Z_2}\dots e^{s_nZ_n}]=E[e^{s_1Z_1}]E[e^{s_2Z_2}]\dots E[e^{s_nZ_n}]\end{align*}
と積の期待値を期待値の積に分解できるようになったのがポイントです．
$\m{X}$のままでは$\m{X}$の各成分が独立とは限らないので，このような分解ができないことに注意しましょう．
コメント