回帰分析の考え方｜最小二乗法で回帰直線を導出する方法

直線$y=a+bx$を考える．

$i=1,2,\dots,n$に対して，$x=x_i$での直線$y=a+bx$の$y$の値が予測値$\hat{y}_i$だったので，$\hat{y}_i=a+bx_i$である．よって，データ$(x_i,y_i)$の残差$e_i$は

\begin{align*}e_i=y_i-(a+bx_i)\end{align*}

となるから，残差平方和$S_e$は

\begin{align*}S_e=\sum_{i=1}^{n}{e_i}^2=\sum_{i=1}^{n}\{y_i-(a+bx_i)\}^2=\sum_{i=1}^{n}(y_i-a-bx_i)^2\end{align*}

となる．これは$a$, $b$の２次式なので，平方完成することにより最小値を求める．

\begin{align*}(y_i-a-bx_i)^2=a^2-2a(y_i-bx_i)+(y_i-bx_i)^2\end{align*}

なので，$S_e$は

\begin{align}S_e&=na^2-2a\sum_{i=1}^{n}(y_i-bx_i)+\sum_{i=1}^{n}(y_i-bx_i)^2\notag
\\&=n\bra{a^2-2a(\overline{y}-b\overline{x})}+\sum_{i=1}^{n}(y_i-bx_i)^2\notag
\\&=n\bra{a-(\overline{y}-b\overline{x})}^2-n(\overline{y}-b\overline{x})^2+\sum_{i=1}^{n}(y_i-bx_i)^2\label{eq:Se}\end{align}

と$a$について平方完成できる．

ここで，$\overline{x^2}$を$x_i^2$の平均，$\overline{y^2}$を$y_i^2$の平均，$\overline{xy}$を$x_iy_i$の平均とおくと，式\eqref{eq:Se}の第３項は

\begin{align*}\sum_{i=1}^{n}(y_i-bx_i)^2
&=\sum_{i=1}^{n}(y_i^2-2bx_iy_i+b^2x_i^2)
\\&=n\overline{y^2}-2nb\overline{xy}+nb^2\overline{x^2}\end{align*}

なので，さらに$\sigma_y^2$を$y_i$の分散とおくと，式\eqref{eq:Se}の第２項と第３項は

\begin{align*}&-n(\overline{y}-b\overline{x})^2+\sum_{i=1}^{n}(y_i-bx_i)^2
\\&=n\bra{-\overline{y}^2+2b\overline{y}\cdot\overline{x}-b^2\overline{x}^2+\overline{y^2}-2b\overline{xy}+b^2\overline{x^2}}
\\&=n\bra{b^2\sigma_x^2-2bC_{xy}+\sigma_y^2}
\\&=n\sigma_x^2\bra{b^2-2b\frac{C_{xy}}{\sigma_x^2}}+n\sigma_y^2
\\&=n\sigma_x^2\bra{b-\frac{C_{xy}}{\sigma_x^2}}^2-\frac{nC_{xy}^2}{\sigma_x^2}+n\sigma_y^2\end{align*}

と$b$について平方完成できる．

以上をまとめて

\begin{align*}S_e=n\bra{a-(\overline{y}-b\overline{x})}^2+n\sigma_x^2\bra{b-\frac{C_{xy}}{\sigma_x^2}}^2-\frac{nC_{xy}^2}{\sigma_x^2}+n\sigma_y^2\end{align*}

となるので，

\begin{align*}\hat{b}:=\frac{C_{xy}}{\sigma_x^2},\quad
\hat{a}:=\overline{y}-\hat{b}\overline{x}\end{align*}

とおくと，$S_e$は$(a,b)=(\hat{a},\hat{b})$のとき最小となる．

各データのベクトルを$\m{x}$, $\m{y}$，全ての成分が１のベクトルを$\m{1}$，残差を並べたベクトルを$\m{e}$と表す：

\begin{align*}&\m{x}:=\bmat{x_1\\\vdots\\x_n},\quad
\m{y}:=\bmat{y_1\\\vdots\\y_n},\quad
\m{1}:=\bmat{1\\\vdots\\1},
\\&\m{e}:=\m{y}-a\m{1}-b\m{x}\bra{=\bmat{y_1-(a+bx_1)\\\vdots\\y_n-(a+bx_n)}}\end{align*}

このとき，これらの内積について，

• $\m{x}\cdot\m{1}=\sum_{i=1}^{n}x_i=n\overline{x}$
• $\m{y}\cdot\m{1}=\sum_{i=1}^{n}y_i=n\overline{y}$
• $\|\m{1}\|^2=\m{1}\cdot\m{1}=\sum_{i=1}^{n}1=n$
• $\|\m{x}\|^2=\m{x}\cdot\m{x}=\sum_{i=1}^{n}x_i^2=n\overline{x^2}$
• $\|\m{y}\|^2=\m{y}\cdot\m{y}=\sum_{i=1}^{n}y_i^2=n\overline{y^2}$

である．残差平方和$S_e(a,b)$は

\begin{align*}S_e(a,b)=\sum_{i=1}^{n}{e_i}^2=\|\m{e}\|^2\end{align*}

だから

\begin{align*}\nabla_{a,b}{S_e}(a,b)
=&\nabla_{a,b}\|\m{e}\|^2
=\bmat{\pd{}{a}\|\m{e}\|^2\\\pd{}{b}\|\m{e}\|^2}
=\bmat{2\m{e}\cdot(\pd{}{a}\m{e})\\2\m{e}\cdot(\pd{}{b}\m{e})}
\\=&2\bmat{\m{e}\cdot(-\m{1})\\\m{e}\cdot(-\m{x})}
=-2\bmat{(\m{y}-a\m{1}-b\m{x})\cdot\m{1}\\(\m{y}-a\m{1}-b\m{x})\cdot\m{x}}
\\=&-2\bmat{n\bar{y}-na-nb\bar{x}\\n\overline{xy}-na\bar{x}-nb\overline{x^2}}\end{align*}

となる．よって，${S_e}(a,b)$を最小にする$(a,b)=(\hat{a},\hat{b})$は

\begin{align*}\nabla_{a,b}{S_e}(\hat{a},\hat{b})=\m{0}
\iff&\bmat{\bar{y}\\\overline{xy}}=\bmat{\hat{a}+\hat{b}\bar{x}\\\hat{a}\bar{x}+\hat{b}\overline{x^2}}
\\\iff&\bmat{\bar{y}\\\overline{xy}}=\bmat{1&\bar{x}\\\bar{x}&\overline{x^2}}\bmat{\hat{a}\\\hat{b}}\end{align*}

を満たす．ここで，行列$X:=\bmat{1&\bar{x}\\\bar{x}&\overline{x^2}}$の行列式$|X|$は

\begin{align*}|X|=1\cdot\overline{x^2}-(\bar{x})^2=\sigma_x^2\end{align*}

である．$\sigma_x^2\neq0$なので$|X|\neq0$となって$X$は逆行列$X^{-1}$を持つ：

\begin{align*}X^{-1}=\frac{1}{\sigma_x^2}\bmat{\overline{x^2}&-\bar{x}\\-\bar{x}&1}\end{align*}

よって，

\begin{align*}\bmat{\hat{a}\\\hat{b}}
=&X^{-1}\bmat{\bar{y}\\\overline{xy}}
=\frac{1}{\sigma_x^2}\bmat{\overline{x^2}&-\bar{x}\\-\bar{x}&1}\bmat{\bar{y}\\\overline{xy}}
\\=&\frac{1}{\sigma_x^2}\bmat{\overline{x^2}\bar{y}-\bar{x}\overline{xy}\\-\bar{x}\bar{y}+\overline{xy}}
\\=&\frac{1}{\sigma_x^2}\bmat{(\overline{x^2}-\bar{x}^2)\bar{y}-(\overline{xy}-\bar{x}\bar{y})\bar{x}\\\overline{xy}-\bar{x}\bar{y}}
\\=&\frac{1}{\sigma_x^2}\bmat{\sigma_x^2\bar{y}-C_{xy}\bar{x}\\C_{xy}}\end{align*}

となる．よって，最小二乗法による回帰直線は

\begin{align*}y=\hat{a}+\hat{b}x\quad
\bra{\hat{b}=\frac{C_{xy}}{\sigma_x^2},\quad
\hat{a}=\bar{y}-\hat{b}\bar{x}}\end{align*}

となる．