回帰分析の考え方｜最小二乗法で回帰直線を導出する方法

まず，直線$y=a+bx$を考える．

$i=1,2\dots,n$に対して，$x=x_i$での直線$y=a+bx$の$y$の値が予測値$\hat{y}_i$だったので，$\hat{y}_i=a+bx_i$である．よって，データ$(x_i,y_i)$の残差$e_i$は

\begin{align*}e_i=y_i-(a+bx_i)\end{align*}

となるから，残差平方和を$S_e$は

\begin{align*}S_e=\sum_{i=1}^{n}{e_i}^2=\sum_{i=1}^{n}\{y_i-(a+bx_i)\}^2=\sum_{i=1}^{n}(y_i-a-bx_i)^2\end{align*}

となる．ここで，$S_e$は$a$, $b$の２次式で２次の係数が正なので，ある$(a,b)=(\hat{a},\hat{b})$で$S_e$は最小となる．このとき，

• $a=\hat{a}$を固定して$b$を動かしたとき$b=\hat{b}$で$S_e$は最小
• $b=\hat{a}$を固定して$a$を動かしたとき$a=\hat{a}$で$S_e$は最小

となるから，

\begin{align*}\pd{S_e}{a}(\hat{a},\hat{b})=\pd{S_e}{b}(\hat{a},\hat{b})=0\end{align*}

が成り立つ．よって，

\begin{align*}\pd{S_e}{a}(\hat{a},\hat{b})=0
\iff&-2\sum_{i=1}^{n}(y_i-\hat{a}-\hat{b}x_i)=0
\\\iff&\sum_{i=1}^{n}y_i=n\hat{a}+\hat{b}\sum_{i=1}^{n}x_i
\\\iff&\frac{1}{n}\sum_{i=1}^{n}y_i=\hat{a}+\hat{b}\cdot\frac{1}{n}\sum_{i=1}^{n}x_i
\\\iff&\bar{y}=\hat{a}+\hat{b}\bar{x},
\\\pd{S_e}{b}(\hat{a},\hat{b})=0
\iff&-2\sum_{i=1}^{n}x_i(y_i-\hat{a}-\hat{b}x_i)=0
\\\iff&\sum_{i=1}^{n}x_iy_i=\hat{a}\sum_{i=1}^{n}x_i+\hat{b}\sum_{i=1}^{n}{x_i}^2
\\\iff&\frac{1}{n}\sum_{i=1}^{n}x_iy_i=\hat{a}\cdot\frac{1}{n}\sum_{i=1}^{n}x_i+\hat{b}\cdot\frac{1}{n}\sum_{i=1}^{n}{x_i}^2
\\\iff&\overline{xy}=\hat{a}\bar{x}+\hat{b}\overline{x^2}\end{align*}

が従う．

$\overline{xy}=\hat{a}\bar{x}+\hat{b}\overline{x^2}$と$\bar{y}=\hat{a}+\hat{b}\bar{x}$から$\hat{a}$を消去して

\begin{align*}\overline{xy}=\bra{\bar{y}-\hat{b}\bar{x}}\bar{x}+\hat{b}\overline{x^2}
\iff&\overline{xy}-\bar{y}\bar{x}=\hat{b}\bra{\overline{x^2}-\bar{x}^2}
\\\iff&C_{xy}=\hat{b}{\sigma_{x}}^2
\iff\hat{b}=\frac{C_{xy}}{{\sigma_{x}}^2}\end{align*}

を得る．ただし，$x_1,\dots,x_n$の少なくとも１つは異なる値をとるから，$\sigma_x\neq0$であることに注意．

各データのベクトルを$\m{x}$, $\m{y}$，全ての成分が１のベクトルを$\m{1}$，残差を並べたベクトルを$\m{e}$と表す：

\begin{align*}&\m{x}:=\bmat{x_1\\\vdots\\x_n},\quad
\m{y}:=\bmat{y_1\\\vdots\\y_n},\quad
\m{1}:=\bmat{1\\\vdots\\1},
\\&\m{e}:=\m{y}-a\m{1}-b\m{x}\bra{=\bmat{y_1-(a+bx_1)\\\vdots\\y_n-(a+bx_n)}}\end{align*}

このとき，これらの内積について，

• $\m{x}\cdot\m{1}=\sum_{i=1}^{n}x_i=n\overline{x}$
• $\m{y}\cdot\m{1}=\sum_{i=1}^{n}y_i=n\overline{y}$
• $\|\m{1}\|^2=\m{1}\cdot\m{1}=\sum_{i=1}^{n}1=n$
• $\|\m{x}\|^2=\m{x}\cdot\m{x}=\sum_{i=1}^{n}x_i^2=n\overline{x^2}$
• $\|\m{y}\|^2=\m{y}\cdot\m{y}=\sum_{i=1}^{n}y_i^2=n\overline{y^2}$

である．残差平方和$S_e(a,b)$は

\begin{align*}S_e(a,b)=\sum_{i=1}^{n}{e_i}^2=\|\m{e}\|^2\end{align*}

だから

\begin{align*}\nabla_{a,b}{S_e}(a,b)
=&\nabla_{a,b}\|\m{e}\|^2
=\bmat{\pd{}{a}\|\m{e}\|^2\\\pd{}{b}\|\m{e}\|^2}
=\bmat{2\m{e}\cdot(\pd{}{a}\m{e})\\2\m{e}\cdot(\pd{}{b}\m{e})}
\\=&2\bmat{\m{e}\cdot(-\m{1})\\\m{e}\cdot(-\m{x})}
=-2\bmat{(\m{y}-a\m{1}-b\m{x})\cdot\m{1}\\(\m{y}-a\m{1}-b\m{x})\cdot\m{x}}
\\=&-2\bmat{n\bar{y}-na-nb\bar{x}\\n\overline{xy}-na\bar{x}-nb\overline{x^2}}\end{align*}

となる．よって，${S_e}(a,b)$を最小にする$(a,b)=(\hat{a},\hat{b})$は

\begin{align*}\nabla_{a,b}{S_e}(\hat{a},\hat{b})=\m{0}
\iff&\bmat{\bar{y}\\\overline{xy}}=\bmat{\hat{a}+\hat{b}\bar{x}\\\hat{a}\bar{x}+\hat{b}\overline{x^2}}
\\\iff&\bmat{\bar{y}\\\overline{xy}}=\bmat{1&\bar{x}\\\bar{x}&\overline{x^2}}\bmat{\hat{a}\\\hat{b}}\end{align*}

を満たす．ここで，行列$X:=\bmat{1&\bar{x}\\\bar{x}&\overline{x^2}}$の行列式$|X|$は

\begin{align*}|X|=1\cdot\overline{x^2}-(\bar{x})^2={\sigma_x}^2\end{align*}

である．$x_1,\dots,x_n$の少なくとも１つは異なる値をとるから，$\sigma_x\neq0$なので$|X|\neq0$となって$X$は逆行列$X^{-1}$を持つ：

\begin{align*}X^{-1}=\frac{1}{{\sigma_x}^2}\bmat{\overline{x^2}&-\bar{x}\\-\bar{x}&1}\end{align*}

よって，

\begin{align*}\bmat{\hat{a}\\\hat{b}}
=&X^{-1}\bmat{\bar{y}\\\overline{xy}}
=\frac{1}{{\sigma_x}^2}\bmat{\overline{x^2}&-\bar{x}\\-\bar{x}&1}\bmat{\bar{y}\\\overline{xy}}
\\=&\frac{1}{{\sigma_x}^2}\bmat{\overline{x^2}\bar{y}-\bar{x}\overline{xy}\\\-\bar{x}\bar{y}+\overline{xy}}
\\=&\frac{1}{{\sigma_x}^2}\bmat{(\overline{x^2}-\bar{x}^2)\bar{y}-(\overline{xy}-\bar{x}\bar{y})\bar{x}\\\overline{xy}-\bar{x}\bar{y}}
\\=&\frac{1}{{\sigma_x}^2}\bmat{{\sigma_x}^2\bar{y}-C_{xy}\bar{x}\\C_{xy}}\end{align*}

となる．よって，最小二乗法による回帰直線は

\begin{align*}y=\hat{a}+\hat{b}x\quad
\bra{\hat{b}=\frac{C_{xy}}{{\sigma_x}^2},\quad
\hat{a}=\bar{y}-\hat{b}\bar{x}}\end{align*}

となる．