不偏推定量とは何か？｜標本平均・不偏分散の不偏性も証明

母平均は$\mu$なので

\begin{align*}E[X_1]=E[X_2]=\dots=E[X_n]=\mu\end{align*}

である．標本平均$\overline{X}$は

\begin{align*}\overline{X}=\frac{X_1+X_2+\dots+X_n}{n}\end{align*}

なので，

\begin{align*}E[\overline{X}]&=E\brc{\frac{X_1+X_2+\dots+X_n}{n}}
\\&=\frac{1}{n}(E[X_1]+E[X_2]+\dots+E[X_n])
\\&=\frac{1}{n}(\mu+\mu+\dots+\mu)=\mu\end{align*}

が従う．

母平均$\mu$，母分散$\sigma^2$だから，各$k\in\{1,2,\dots,n\}$に対して

\begin{align*}E[X_1]=E[X_2]=\dots=E[X_n]=\mu,
V[X_1]=V[X_2]=\dots=V[X_n]=\sigma^2\end{align*}

である．以下，標本平均を$\overline{X}$とする．

ステップ１（$\sum\limits_{k=1}^{n}(x_k-\overline{X})^2$の計算）

各$(X_k-\overline{X})^2$は

\begin{align*}(X_k-\overline{X})^2
&=\{(X_k-\mu)+(\mu-\overline{X})\}^2
\\&=(X_k-\mu)^2+2(X_k-\mu)(\mu-\overline{X})+(\mu-\overline{X})^2\end{align*}

と展開できるから，和を取れば

\begin{align*}&\sum_{k=1}^{n}(X_k-\overline{X})^2
\\&=\sum_{k=1}^{n}(X_k-\mu)^2+2(\mu-\overline{X})\sum_{k=1}^{n}(x_k-\mu)+n(\mu-\overline{X})^2
\end{align*}

となる．第２項目について，

\begin{align*}\sum_{k=1}^{n}(X_k-\mu)
&=n\cdot\frac{X_1+X_2+\dots+X_n}{n}-n\mu
\\&=n\overline{X}-n\mu
=-n(\mu-\overline{X}u)\end{align*}

なので，

\begin{align*}&\sum_{k=1}^{n}(X_k-\overline{X})^2
\\&=\sum_{k=1}^{n}(x_k-\mu)^2-2n(\mu-\overline{X})^2+n(\mu-\overline{X})^2
\\&=\sum_{k=1}^{n}(x_k-\mu)^2-n(\mu-\overline{X})^2
\end{align*}

が従う．

ステップ２（$E\bigl[(X_k-\mu)^2\bigr]$と$E\bigl[(\mu-\overline{X})^2\bigr]$の計算）

$E[X_k]=\mu$だから

\begin{align*}E[(X_k-\mu)^2]=E[(X_k-E[X_k])^2]=V[X_k]=\sigma^2\end{align*}

である．

また，先ほど示したように$E[\overline{X}]=\mu$（標本平均$\overline{X}$は母平均$\mu$の不偏推定量）だったから，

\begin{align*}E\brc{(\mu-\overline{X})^2}
&=E\brc{\bra{\overline{X}-E[\overline{X}]}^2}=V[\overline{X}]
\\&=V\brc{\frac{1}{n}\sum_{k=1}^{n}x_k}=\frac{1}{n^2}\sum_{k=1}^{n}V[X_k]\end{align*}

を得る．ただし，最後の等号では$\{X_1,X_2,\dots,X_n\}$が無作為標本であることから，$k\neq\ell$なら$X_k$と$X_\ell$が独立であることを用いている．

$V[X_k]=\sigma^2$と併せて

\begin{align*}E\brc{(\mu-\overline{X})^2}=\frac{1}{n^2}\sum_{k=1}^{n}\sigma^2=\frac{1}{n^2}\cdot n\sigma^2=\frac{\sigma^2}{n}\end{align*}

が従う．

ステップ３（$E\brc{\frac{1}{n-1}\sum_{k=1}^{n}(X_k-\overline{X})^2}$の計算）

ステップ１から

\begin{align*}E\brc{\sum_{k=1}^{n}(X_k-\overline{X})^2}
&=E\brc{\sum_{k=1}^{n}(X_k-\overline{X})^2}
\\&=E\brc{\sum_{k=1}^{n}(X_k-\mu)^2-n(\mu-\overline{X})^2}
\\&=\sum_{k=1}^{n}E\brc{(X_k-\mu)^2}-nE\brc{(\mu-\overline{X})^2}\end{align*}

である．よって，ステップ２と併せて

\begin{align*}E\brc{\frac{1}{n-1}\sum_{k=1}^{n}(X_k-\overline{X})^2}
&=\frac{1}{n-1}E\brc{\sum_{k=1}^{n}(X_k-\overline{X})^2}
\\&=\frac{1}{n-1}\bra{\sum_{k=1}^{n}\sigma^2-n\cdot\frac{\sigma^2}{n}}
\\&=\frac{1}{n-1}(n\sigma^2-\sigma^2)=S\end{align*}

が従う．