最小二乗法から求めた回帰直線の性質と決定係数の意味

例えば「気温」と「アイスの売り上げ」のような２つのデータの関係を散布図に表し，その関係を「それっぽい直線や曲線」で表すことを回帰分析というのでした．

この回帰分析における「それっぽい直線」のことを回帰直線といい，回帰直線を求める際には最小二乗法がよく用いられます．

この最小二乗法を用いた回帰直線の求め方については以前の記事で説明しました．

最小二乗法を使えば回帰直線は求まりますが，元のデータに相関がなければ回帰直線を求める意義がなくなってしまいます．

そこで，回帰直線がどの程度適切にデータを表せているのかの指標となる決定係数があります．

決定係数を説明するために，回帰直線が満たす性質を説明する必要があるので，この記事では

回帰直線が満たす性質
決定係数とは何か

を順に説明します．

「統計学」の一連の記事

基本の統計量

回帰直線

推定
1. e1 不偏分散ってなに？｜不偏推定量を考え方から理解する
2. e2 尤度関数の考え方｜データから分布を推定する最尤推定法の例

回帰直線の復習
回帰直線の性質
平方和の分解と決定係数
1. 平方和の分解
2. 決定係数
擬相関と偏相関係数
参考文献
1. 改訂版統計検定２級対応統計学基礎

回帰直線の復習

最小二乗法により求められる回帰直線は以下のようになるのでした．

$n$個のデータの組$x=(x_1,x_2,\dots,x_n)$, $y=(y_1,y_2,\dots,y_n)$に対して

$x$の平均を$\overline{x}$
$x$の分散を${\sigma_x}^2$
$y$の平均を$\overline{y}$
$x$, $y$の共分散を$C_{xy}$

とする．このとき，最小二乗法を用いると，回帰直線は

$\begin{align*} y=\hat{a}+\hat{b}x\quad \bra{\hat{b}=\frac{C_{xy}}{{\sigma_x}^2},\quad \hat{a}=\overline{y}-\hat{b}\overline{x}} \end{align*}$

となる．

実際のデータ$(x_i,y_i)$に対して

$x=x_i$での回帰直線上の$y$の値をデータを$x=x_i$の予測値といい，本稿では$\hat{y}_i$と表し，
$y_i-\hat{y}_i$をデータ$(x_i,y_i)$の残差といい，本稿では$\hat{y}_i$と表します．

前後しましたが，様々な直線の中でも残差の２乗和

$\begin{align*} S_e={e_1}^2+{e_2}^2+\dots+{e_n}^2 \end{align*}$

が最小になるようなものを求めるのが最小二乗法の考え方で，こうして求められたのが上の回帰直線ということでしたね．

回帰分析の基本｜最小二乗法で回帰直線を導出する方法

散布図に「それっぽい線」を描いてデータの関係を考えることを「回帰分析」といい，「それっぽい直線」を求める基本的な方法に「最小二乗法」があります，この記事では最小二乗法の考え方を説明します．

回帰直線の性質

それでは，最小二乗法で求めた回帰直線の性質を説明します．

$n$個のデータの組$x=(x_1,x_2,\dots,x_n)$, $y=(y_1,y_2,\dots,y_n)$に対する最小二乗法による回帰直線$y=\hat{a}+\hat{b}x$は以下の性質をもつ．

回帰直線は点$(\overline{x},\overline{y})$を通る．
予測値$\hat{y}_i$の平均$\overline{\hat{y}}$と$y_i$の平均$\overline{y}$は等しい．すなわち，残差$e_i$の平均$\overline{e}$は0である．
予測値$\hat{y}_i$と残差$e_i$は無相関(=相関係数が０=共分散が０)である．

これらを以下で証明していきましょう．

性質１

回帰直線の式$y=\hat{a}+\hat{b}x$では，等式$\hat{a}=\overline{y}-\hat{b}\overline{x}$が成り立つのでした．

これを整理してできる等式$\bar{y}=\hat{a}+\hat{b}\bar{x}$は回帰直線の方程式$y=\hat{a}+\hat{b}x$に$(x,y)=(\bar{x},\bar{y})$を代入してできる等式となっています．

そもそも方程式に代入して成り立つ点$(x,y)$を集めたものがグラフだったので，回帰直線$y=\hat{a}+\hat{b}x$は点$(\bar{x},\bar{y})$を通ることになります．

性質２

予測値$\hat{y}_i$は$\hat{y}_i=\hat{a}+\hat{b}x_i$と定義されていたので，

$\begin{align*} \overline{\hat{y}} =&\frac{1}{n}\sum_{i=1}^{n}\hat{y}_i =\frac{1}{n}\sum_{i=1}^{n}(\hat{a}+\hat{b}x_i) \\=&\hat{a}+\hat{b}\cdot\frac{1}{n}\sum_{i=1}^{n}x_i =\bra{\hat{a}+\hat{b}\overline{x}} =\overline{y} \end{align*}$

が成り立ちます．残差$e_i$は$e_i=y_i-\hat{y}_i$と定義されていたので，残差の平均$\overline{e}$は

$\begin{align*} \overline{e} =&\frac{1}{n}\sum_{i=1}^{n}e_i =\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i) \\=&\frac{1}{n}\sum_{i=1}^{n}y_i-\frac{1}{n}\sum_{i=1}^{n}\hat{y}_i =\overline{y}-\overline{\hat{y}} =0 \end{align*}$

となりますね．ただし，最後の等号では等式$\overline{y}=\hat{a}+\hat{b}\overline{x}$が成り立つことを用いました．

性質３

予測値$\hat{y}_i$と残差$e_i$の共分散$C_{\hat{y}e}$が０であることを示せばよいですね．

残差$e_i$について，

$\begin{align*} e_i =&(y_i-\hat{y}_i) =y_i-(\hat{a}+\hat{b}x_i) \\=&y_i-\brb{(\overline{y}-\hat{b}\overline{x})+\hat{b}x_i} \\=&(y_i-\overline{y})-\hat{b}(x_i-\overline{x}) \end{align*}$

である．[性質２]の$\bar{\hat{y}}=\bar{y}$と$\bar{e}=0$を併せると

$\begin{align*} C_{\hat{y}e} =&\frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i-\overline{\hat{y}})(e_i-\overline{e}) =\frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i-\overline{y})e_i \\=&\frac{1}{n}\sum_{i=1}^{n}\{(\hat{a}+\hat{b}x_i)-(\hat{a}+\hat{b}\overline{x})\}e_i =\frac{\hat{b}}{n}\sum_{i=1}^{n}(x_i-\overline{x})e_i \\=&\hat{b}\brb{\frac{1}{n}\sum_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y})-\hat{b}\cdot\frac{1}{n}\sum_{i=1}^{n}(x_i-\overline{x})^2} \\=&\hat{b}\bra{C_{xy}-\hat{b}{\sigma_{x}}^2} =\hat{b}\bra{C_{xy}-\frac{C_{xy}}{{\sigma_{x}}^2}\cdot{\sigma_{x}}^2} =0 \end{align*}$

となりますね．

平方和の分解と決定係数

そもそも回帰分析はデータの関係を表す「それっぽい線」を見つけようというのが目的なのでした．

そこで，最小二乗法で求まった回帰直線がどれくらい「それっぽいか」を測る指標として決定係数があります．

平方和の分解

上で確かめた回帰直線の[性質３]を用いると，以下のことが証明できます．

最小二乗法による回帰直線において，目的変数の平均とデータの差の平方和$S_T$は，

残差平方和$S_e$
回帰による平方和$S_{R}$

の和に等しい．すなわち，

$\begin{align*} &S_T=\sum_{i=1}^{n}(y_i-\overline{y})^2, \\&S_R=\sum_{i=1}^{n}(y_i-\overline{y})^2, \\&S_e=\sum_{i=1}^{n}(y_i-\hat{y}_i)^2\bra{=\sum_{i=1}^{n}{e_i}^2} \end{align*}$

とすると，$S_T=S_e+S_R$が成り立つ．

回帰直線の[性質３]より，

$\begin{align*} \frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\overline{y}) =&\frac{1}{n}\sum_{i=1}^{n}e_i(\hat{y}_i-\overline{\hat{y}_i}) \\=&\frac{1}{n}\sum_{i=1}^{n}(e_i-\overline{e})(\hat{y}_i-\overline{\hat{y}_i}) =0 \end{align*}$

なので，

$\begin{align*} S_T =&\sum_{i=1}^{n}(y_i-\overline{y})^2 =\sum_{i=1}^{n}\brb{(y_i-\hat{y}_i)+(\hat{y}_i-\overline{y})}^2 \\=&\sum_{i=1}^{n}(y_i-\hat{y}_i)^2+\sum_{i=1}^{n}(\hat{y}_i-\overline{y})^2+\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\overline{y}) \\=&\sum_{i=1}^{n}(y_i-\hat{y}_i)^2+\sum_{i=1}^{n}(\hat{y}_i-\overline{y})^2 =S_e+S_R \end{align*}$