擬相関を見破る「偏相関係数」の考え方！回帰直線から導出

１日の「プールの利用者数」と「アイスの売り上げ」を記録すると，これらには正の相関があります．

しかし，「プールの利用者数が多くなるからアイスの売り上げが上がる」わけではないし，逆に「アイスの売り上げが上がるからプールの利用者数が多くなる」わけでもありません．

このように，相関とは「片方が大きいときに他方も大きいかどうか」を考えるものなので，因果関係までは分かりません．

さて，「プールの利用者数」と「アイスの売り上げ」を変化させる原因としては「気温」が挙げられます．

この「プールの利用者数」と「アイスの売り上げ」のように，因果関係がないのに相関があることを擬相関といいます．

よって，「気温」の変化による「プールの利用者数」と「アイスの売り上げ」の影響を除いたものの相関を考えると，相関関係は見られないのではないかと予想ができます．

このように，ある特定の影響を除いて考える相関係数のことを偏相関係数といいます．

この記事では

偏相関係数の考え方
偏相関係数の導出法

を説明します．

「統計学」の一連の記事はこちら

・基本の統計量
【統計学の基礎１｜データを要約する代表値(平均値・中央値)】
【統計学の基礎２｜データのばらつきを表す「分散」のイメージと定義】
【統計学の基礎３｜「共分散」は「相関」の正負を表す統計量】
【統計学の基礎４｜「相関係数」は相関の強さを表す統計量】

・回帰直線
【回帰分析の目的｜最小二乗法から回帰直線を求める方法】
【最小二乗法から求めた回帰直線の性質と決定係数の意味】
【擬相関を見破る「偏相関係数」の考え方！回帰直線から導出する】←今の記事

・推定
【不偏分散ってなに？｜不偏推定量を考え方から理解する】
【尤度関数の考え方｜データから分布を推定する最尤推定法の例】

1 復習
- 1.1 相関係数
- 1.2 回帰直線
2 偏相関係数の考え方
3 偏相関係数の導出
4 参考文献

復習

まずは，偏相関係数を考えるために必要な

相関係数
回帰直線

を復習します．

相関係数

２種類のデータ$x_1,x_2,\dots,x_n$と$y_1,y_2,\dots,y_n$について，これらにどれくらい相関の強さがあるのかを測る指標として相関係数があるのでした．

相関係数は以下で定義されます．

[相関係数]　データ$x=(x_1,\dots,x_n)$, $y=(y_1,\dots,y_n)$に対して，相関係数$\rho_{xy}$は

$\begin{align*} \rho_{xy}:=\frac{C_{xy}}{\sigma_{x}\sigma_{y}} \end{align*}$

で定義される．ただし，$C_{xy}$は$x$と$y$の共分散，$\sigma_{x}$は$x$の標準偏差，$\sigma_{y}$は$y$の標準偏差である．

相関係数について，詳しくは以下の記事で説明しています．

【統計学の基礎４｜「相関係数」は相関の強さを表す統計量】

相関係数$\rho_{xy}$は$-1\le\rho_{xy}\le1$をみたし，$-1$に近いほど負の相関が強く，$1$に近いほど正の相関が強いのでした．この記事では，相関係数の考え方と，相関係数が相関の強さを表す理由を説明しています．

回帰直線

例えば，あるテストを受けた８人の生徒について，勉強時間$x$とテストの成績$y$を$xy$平面上にプロットすると，下図のようになったとしましょう．

この散布図を見たとき，データはなんとなく右上がりになっているように見えるので，このデータを直線で表すなら下図のようになるでしょうか．

回帰分析でデータを表現する線は必ずしも直線とは限らず，曲線であることもありますが，「それっぽい線」を見つける方法の総称を回帰分析といいますね．

とくにデータの間に直線関係があるとして考えた「それっぽい直線」を回帰直線といい，回帰直線を求めるための手法として最小二乗法などがあります．

最小二乗法を用いて回帰直線を求めると以下のようになります．

$n$個のデータの組$x=(x_1,x_2,\dots,x_n)$, $y=(y_1,y_2,\dots,y_n)$に対して最小二乗法を用いると，回帰直線は

$\begin{align*} y=\hat{a}+\hat{b}x\quad \bra{\hat{b}=\frac{C_{xy}}{{\sigma_x}^2},\quad \hat{a}=\bar{y}-\hat{b}\bar{x}} \end{align*}$

となる．ただし，$\bar{x}$は$x$の平均，${\sigma_x}^2$は$x$の分散，$\bar{y}$は$y$の平均，$C_{xy}$は$x$, $y$の共分散である．

この回帰直線の導出は以下の記事で詳しく説明しています．

【回帰分析の目的｜最小二乗法から回帰直線を求める方法】

基本的な考え方から回帰分析を解説しています．回帰分析の中でも最小二乗法を用いた回帰直線の求め方を解説しています．

偏相関係数の考え方

冒頭で説明したように，相関が強いことは必ずしも因果関係があることを意味しません．

例えば

プールの利用者数
アイスの売り上げ

に相関はありますが，一方が他方の原因になっているわけではありません．

両方に影響を与える「気温」という要因があるため，相関があるだけですね．

このように，企業が何かの分析をしていてデータ$X$と$Y$を見比べて正の相関が見つかったとしても，$X$と$Y$の間に因果関係がなく$X$と$Y$に影響を与える別の要因$Z$が存在しているかもしれないため，「$Y$を増やしたいから，$X$を増やせばいい」と考えることは危険です．

このように，$X$と$Y$が相関関係にあっても，因果関係にないことを擬似相関や擬相関などといいます．

さて，$x$と$y$の間に直接的な関係があるのかどうかをみるための指標として，($z$の影響を除いた)偏相関係数というものがあります．これは

$x$から$z$の影響を除いた$x’$
$y$から$z$の影響を除いた$x’$

の相関係数$\rho_{x’y’}$のことで，$z$の影響を除いた$x’$と$y’$の間に相関があれば，$z$の影響だけではない関係があると見なすことができますね．

結論から書くと，偏相関係数は以下のように定義されます．

[偏相関係数]　データ$x=(x_1,\dots,x_n)$, $y=(y_1,\dots,y_n)$, $z=(z_1,\dots,z_n)$に対して，$z$の影響を除いた$x$と$y$の相関係数$\rho_{xy;z}$は

$\begin{align*} \rho_{xy;z}:=\frac{\rho_{xy}-\rho_{xz}\rho_{yz}}{\sqrt{1-{\rho_{xz}}^2}\sqrt{1-{\rho_{yz}}^2}} \end{align*}$

で定義される．

さて

$x$から$z$の影響を除いた$x’$
$y$から$z$の影響を除いた$y’$

の相関係数$\rho_{x’y’}$が$\rho_{xy;z}$であると書きましたが，より正確には偏相関係数$\rho_{xy;z}$は「$x$と$z$，$y$と$z$が直線関係にあるとしたときの，$z$の影響を無視した$x$と$y$の相関係数」ということになりますね．

偏相関係数の導出

それでは，偏相関係数を導出しましょう．

データ$x=(x_1,\dots,x_n)$, $y=(y_1,\dots,y_n)$, $z=(z_1,\dots,z_n)$について，$x$と$z$は直線関係にあり，$y$と$z$は直線関係にあるとし，$x$と$z$の回帰直線，$y$と$z$の回帰直線をそれぞれ

$x=\hat{a}+\hat{b}z$
$y=\hat{c}+\hat{d}z$

とする．このとき，$z$の影響を無視した$x$と$y$をそれぞれ

$x’=x-(\hat{a}+\hat{b}z)$
$y’=y-(\hat{c}+\hat{d}z)$

で定義すると，$x’$と$y’$の相関係数$\rho_{x’y’}$は偏相関係数$\rho_{xy;z}$に一致する．すなわち，

$\begin{align*} \rho_{x'y'}=\frac{\rho_{xy}-\rho_{xz}\rho_{yz}}{\sqrt{1-{\rho_{xz}}^2}\sqrt{1-{\rho_{yz}}^2}} \end{align*}$

上で見た回帰直線の復習から

$\begin{align*} \hat{b}=\dfrac{C_{xz}}{{\sigma_{z}}^2},\quad \hat{a}=\bar{x}-\hat{b}\bar{z},\quad \hat{d}=\dfrac{C_{yz}}{{\sigma_{z}}^2},\quad \hat{c}=\bar{y}-\hat{b}\bar{z} \end{align*}$

ですね．$\hat{a}=\bar{x}-\hat{b}\bar{z}$より

$\begin{align*} x'=&x-(\hat{a}+\hat{b}z) \\=&x-\brb{(\bar{x}-\hat{b}\bar{z})+\hat{b}z} \\=&(x-\bar{x})-\hat{b}(z-\bar{z}) \end{align*}$

であり，同様に$y’=(y-\bar{y})-\hat{d}(z-\bar{z})$です．

また，共分散$C_{x’y’}$，標準偏差$\sigma_{x’}$, $\sigma_{y’}$は

$\begin{align*} &C_{x'y'}=\overline{x'y'}-\overline{x'}\overline{y'}, \\&{\sigma_{x'}}^2=\overline{x'^2}-\overline{x'}^2, \\&{\sigma_{y'}}^2=\overline{y'^2}-\overline{y'}^2 \end{align*}$

を満たすので，相関係数の定義より

$\begin{align*} \rho_{x'y'} =&\frac{C_{x'y'}}{\sigma_{x'}\sigma_{y'}} \\=&\frac{\overline{x'y'}-\overline{x'}\cdot\overline{y'}}{\sqrt{\overline{x'^2}-\overline{x'}^2}\sqrt{\overline{y'^2}-\overline{y'}^2}} \end{align*}$

となります．ここで，

$\begin{align*} \overline{x'},\quad \overline{y'},\quad \overline{x'^2},\quad \overline{y'^2},\quad \overline{x'y'} \end{align*}$

を計算しましょう．

[１]　$x’=(x-\bar{x})-\hat{b}(z-\bar{z})$なので，

$\begin{align*} \overline{x'} =&\frac{1}{n}\sum_{i=1}^{n}x'_i =\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})-\hat{b}(z_i-\bar{z}) \\=&\brb{\bra{\frac{1}{n}\sum_{i=1}^{n}x_i}-\bar{x}}-\hat{b}\brb{\bra{\frac{1}{n}\sum_{i=1}^{n}z_i}-\bar{z}} \\=&(\bar{x}-\bar{x})-\hat{b}(\bar{z}-\bar{z}) =0 \end{align*}$

となります．同様に，

$\begin{align*} \overline{y'}=0 \end{align*}$

となります．

[２]　$x’=(x-\bar{x})-\hat{b}(z-\bar{z})$より

$\begin{align*} x'^2 =&\brb{(x-\bar{x})-\hat{b}(z-\bar{z})}^2 \\=&(x-\bar{x})^2-2\hat{b}(x-\bar{x})(z-\bar{z})+\hat{b}^2(z-\bar{z})^2 \end{align*}$

となるので，$\hat{b}=\dfrac{C_{xz}}{{\sigma_{z}}^2}$と併せて

$\begin{align*} \overline{x'^2} =&\frac{1}{n}\sum_{i=1}^{n}{x'_i}^2 \\=&\frac{1}{n}\sum_{i=1}^{n}\brb{(x_i-\bar{x})^2-2\hat{b}(x_i-\bar{x})(z_i-\bar{z})+\hat{b}^2(z_i-\bar{z})^2} \\=&\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2-2\hat{b}\cdot\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(z_i-\bar{z})+\hat{b}^2\cdot\frac{1}{n}\sum_{i=1}^{n}(z_i-\bar{z})^2 \\=&{\sigma_{x}}^2-2\hat{b}\cdot C_{xz}+\hat{b}^2\cdot{\sigma_{z}}^2 \\=&{\sigma_{x}}^2-2\cdot\frac{C_{xz}}{{\sigma_{z}}^2}\cdot C_{xz}+\frac{{C_{xz}}^2}{{\sigma_{z}}^4}\cdot{\sigma_{z}}^2 \\=&{\sigma_{x}}^2-\frac{2{C_{xz}}^2}{{\sigma_{z}}^2}+\dfrac{{C_{xz}}^2}{{\sigma_{z}}^2} \\=&{\sigma_{x}}^2-\frac{{C_{xz}}^2}{{\sigma_{z}}^2} \end{align*}$

となります．同様に

$\begin{align*} \overline{y'^2}={\sigma_{y}}^2-\dfrac{{C_{yz}}^2}{{\sigma_{z}}^2} \end{align*}$

となります．

[３]　$x’=(x-\bar{x})-\hat{b}(z-\bar{z})$, $y’=(y-\bar{y})-\hat{d}(y-\bar{y})$より

$\begin{align*} x'y' =&\brb{(x-\bar{x})-\hat{b}(z-\bar{z})}\brb{(y-\bar{y})-\hat{d}(z-\bar{z})} \\=&(x-\bar{x})(y-\bar{y})-\hat{d}(x-\bar{x})(z-\bar{z}) \\&\quad-\hat{b}(y-\bar{y})(z-\bar{z})+\hat{b}\hat{d}(z-\bar{z})^2 \end{align*}$

となるので，$\hat{b}=\dfrac{C_{xz}}{{\sigma_z}^2}$, $\hat{d}=\dfrac{C_{yz}}{{\sigma_z}^2}$と併せて

$\begin{align*} \overline{x'y'} =&\frac{1}{n}\sum_{i=1}^{n}x'_ix'_i \\=&\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})-\hat{d}\cdot\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(z_i-\bar{z}) \\&-\hat{b}\cdot\frac{1}{n}\sum_{i=1}^{n}(y_i-\bar{y})(z_i-\bar{z})+\hat{b}\hat{d}\cdot\frac{1}{n}\sum_{i=1}^{n}(z_i-\bar{z})^2 \\=&C_{xy}-\hat{d}\cdot C_{xz}-\hat{b}\cdot C_{yz}+\hat{b}\hat{d}\cdot{\sigma_{z}}^2 \\=&C_{xy}-\frac{C_{yz}}{{\sigma_z}^2}\cdot C_{xz}-\frac{C_{xz}}{{\sigma_z}^2}\cdot C_{yz}+\frac{C_{xz}}{{\sigma_z}^2}\cdot\frac{C_{yz}}{{\sigma_z}^2}\cdot{\sigma_z}^2 \\=&C_{xy}-\frac{C_{xz}C_{yz}}{{\sigma_z}^2}-\frac{C_{xz}C_{yz}}{{\sigma_z}^2}+\frac{C_{xz}C_{yz}}{{\sigma_z}^2} \\=&C_{xy}-\frac{C_{xz}C_{yz}}{{\sigma_z}^2} \end{align*}$

となります．

[１]〜[３]より

$\begin{align*} \rho_{x'y'} =&\frac{\overline{x'y'}-\overline{x'}\cdot\overline{y'}}{\sqrt{\overline{x'^2}-\overline{x'}^2}\sqrt{\overline{y'^2}-\overline{y'}^2}} \\=&\frac{\bra{C_{xy}-\frac{C_{xz}C_{yz}}{{\sigma_z}^2}}-0\cdot0}{\sqrt{\bra{{\sigma_x}^2-\frac{{C_{xz}}^2}{{\sigma_z}^2}}-0^2}\sqrt{\bra{{\sigma_y}^2-\frac{{C_{yz}}^2}{{\sigma_{z}}^2}}-0^2}} \\=&\frac{C_{xy}-\frac{C_{xz}C_{yz}}{{\sigma_z}^2}}{\sqrt{{\sigma_x}^2-\frac{{C_{xz}}^2}{{\sigma_z}^2}}\sqrt{{\sigma_{y}}^2-\frac{{C_{yz}}^2}{{\sigma_z}^2}}} \\=&\frac{\frac{C_{xy}}{\sigma_x\sigma_y}-\frac{C_{xz}}{\sigma_x\sigma_z}\cdot\frac{C_{yz}}{\sigma_y\sigma_z}}{\sqrt{1-\bra{\frac{C_{xz}}{\sigma_x\sigma_z}}^2}\sqrt{1-\bra{\frac{C_{yz}}{\sigma_y\sigma_z}}^2}} \\=&\frac{\rho_{xy}-\rho_{xz}\rho_{yz}}{\sqrt{1-{\rho_{xz}}^2}\sqrt{1-{\rho_{yz}}^2}} \end{align*}$

となって，偏相関係数$\rho_{xy;z}$に等しいことが分かりました．

「統計学」の一連の記事はこちら

・推定
【不偏分散ってなに？｜不偏推定量を考え方から理解する】
【尤度関数の考え方｜データから分布を推定する最尤推定法の例】

参考文献

改訂版統計検定２級対応統計学基礎

(日本統計学会編/東京図書)

日本統計学会が実施する「統計検定」の２級の範囲に対応する教科書です．

統計検定２級は「大学基礎科目(学部１，２年程度）としての統計学の知識と問題解決能力」という位置付けであり，ある程度の数学的な処理能力が求められます．

そのため，統計検定２級を取得していると，一定以上の統計的なデータの扱い方を身に付けているという指標になります．

本書は

データの記述と要約
確率と確率分布
統計的推定
統計的仮説検定
線形モデル分析
その他の分析法-正規性の検討，適合度と独立性の$\chi^2$検定

の６章からなり，基礎的な統計的スキルを身につけることができます．

大学１，２年程度のレベルの内容なので，もし高校数学が怪しいようであれば，統計検定３級からの挑戦を検討しても良いでしょう．

改訂版統計検定２級対応統計学基礎(日本統計学会編/東京図書)
Amazon 楽天市場
改訂版統計検定３級対応データの分析(日本統計学会編/東京図書)
Amazon 楽天市場

なお，本書については，以下の記事で書評としてまとめています．

【書評｜統計検定２級対応統計学基礎(日本統計学会編)】

本書は統計検定２級の出題範囲に即した内容の教科書です．本書の目次，良い点と不満な点，オススメの使い方などをまとめています．