確率変数の4つの収束｜概収束，平均収束，確率収束，法則収束

確率変数列 $\{X_n\}_{n\in\N}$ の収束として，

概収束
確率収束
平均収束
法則収束

の4種類が基本的である．

これらの間には，たとえば確率収束する確率変数は法則収束するように，これらの収束の間に強弱の関係がある．

この記事では，これらの収束の定義を述べたあと，これらの収束の条件の強さを比較する．

一連の記事はこちら

【確率変数の4つの収束｜概収束，平均収束，確率収束，法則収束】←この記事
【一様可積分とヴィタリの収束定理｜ルベーグの収束定理の一般化】
【一様可積分性の判定条件｜十分条件と必要十分条件】

【SPONSORED LINK】

確率変数の4つの収束

まずは確率変数の定義を確認しておく．

$(\Omega,\mathcal{F},\mathbb{P})$ を確率空間とし， $(S,\mathcal{S})$ を可測空間する．このとき，可測な写像 $X:\Omega\to S$ を $S$ 値確率変数(random variable)という．

特に， $S=\R$ , $\mathcal{S}=\mathcal{B}(\R)$ ( $\R$ 上のBorel集合族)の場合， $X$ を実数値確率変数(real-valued random variable)という．

例えば，6面サイコロをふることに対応する確率空間は

$\Omega=\{1,2,3,4,5,6\}$
$\mathcal{F}=2^\Omega$ ( $\Omega$ の冪集合)
$\mathbb{P}(\omega)=\frac{1}{6}$ ( $\omega\in\Omega$ )

であり，サイコロを振って

1, 2, 3の目が出れば10点
4, 5の目が出れば20点
6の目が出れば30点

とサイコロの目に点数を与える状況は，

$S=\{10,20,30\}$
$\mathcal{S}=2^S$ ( $S$ の冪集合)
$X:\Omega\to S;\begin{cases}1,2,3\mapsto 10\\4,5\mapsto 20\\6\mapsto 30\end{cases}$

なる可測空間 $(S,\mathcal{S})$ と確率変数 $X:\Omega\to S$ を定めることによって表現できる．

この記事では， $(\Omega,\mathcal{F},\mathbb{P})$ を確率空間とし， $\mathbb{E}$ で期待値を表す：

$\begin{align*} \mathbb{E}[X]=\int_{\Omega}X_n(\omega)\,\mathbb{P}(d\omega). \end{align*}$

また，集合 $A\subset\Omega$ 上の定義関数を $I_{A}$ で表す：

$\begin{align*} I_{A}(\omega)=\begin{cases}1&\omega\in A,\\0&\omega\notin A.\end{cases} \end{align*}$

概収束

[概収束]　実数値確率変数列 $\{X_n\}_{n\in\N}$ が確率変数 $X$ に概収束(almost sure convergence)するとは，

$\begin{align*} \mathbb{P}\bra{\set{\omega\in\Omega}{\lim_{n\to\infty}X_n(\omega)=X(\omega)}}=1 \end{align*}$

を満たすことをいう．

言い換えれば， $n\to\infty$ でほとんど確実に $X_n$ が $X$ に収束することをいう．

さらに，確率測度 $\mathbb{P}$ において， $\Omega$ 上ほとんどいたるところで $X_n$ が $X$ に収束するとも言い替えられる．

平均収束

[平均収束]　 $p\in[1,\infty)$ に対して実数値確率変数列 $\{X_n\}_{n\in\N}$ が確率変数 $X$ に $p$ 次平均収束(convergence in the mean of order $p$ )するとは，

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{|X_n-X|^p}=0 \end{align*}$

を満たすことをいう．

$p$ 次平均収束の定義は

$\begin{align*} \mathbb{E}\brc{|X_n-X|^p}=\|X_n-X\|_{L^p(\Omega)}^p \end{align*}$

と書き換えられるので， $X_n$ が $X$ に $L^p(\Omega)$ 上で収束していると表現することもできる．

確率収束

[確率収束]　実数値確率変数列 $\{X_n\}_{n\in\N}$ が確率変数 $X$ に確率収束(stochastic convergence)するとは，任意の $\epsilon>0$ に対して，

$\begin{align*} \lim_{n\to\infty}\mathbb{P}\bra{\set{\omega\in\Omega}{|X_n(\omega)-X(\omega)|>\epsilon}}=0 \end{align*}$

を満たすことをいう．

$n$ を止めるごとに， $|X_n(\omega)-X(\omega)|>\epsilon$ を満たすような $\omega$ の集合を考えることができる．

この「 $X_n$ と $X$ が $\epsilon$ より大きく離れているような $\Omega$ の部分集合」の確率が $n$ を大きくしていくときに0に近付く，ということを述べ他ものが確率収束である．

なお，確率収束の定義は

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{I_{\{|X_n-X|>\epsilon\}}}=0 \end{align*}$

と表すこともできる．

法則収束

[法則収束]　実数値確率変数列 $\{X_n\}_{n\in\N}$ が確率変数 $X$ に法則収束(convergence in law)するとは，任意の実数値有界連続関数 $f$ に対して

$\begin{align*} \lim_{n\to\infty}\mathbb{E}[f(X_n)]=\mathbb{E}[f(X)] \end{align*}$

を満たすことをいう．このとき， $X_n\xrightarrow[]{L}X$ などと表す．

$f(x)=\sin{x}$ や $f(x)=e^{-x^2}$ など任意の実数値有界連続関数 $f$ に対して成り立つ必要がある．

なお，左辺の期待値と右辺の期待値が別の確率空間によるものであってもよい．すなわち，

確率変数列 $\{X_n\}_{n\in\N}$ が定義された確率空間
確率変数 $X$ が定義された確率空間

でもこの定義はwell-definedである．

収束の強さ

それでは，いまみた4つの収束の強さについて述べる．

確率空間 $(\Omega,\mathcal{F},\mathbb{P})$ 上の実数値確率変数列 $\{X_n\}_{n\in\N}$ と確率変数 $X$ に対して，以下が成り立つ．

$\{X_n\}_{n\in\N}$ が $X$ に概収束するなら， $\{X_n\}_{n\in\N}$ は $X$ に確率収束する．
任意の $p\in[1,\infty)$ に対して $\{X_n\}_{n\in\N}$ が $X$ に $p$ 次平均収束するなら， $\{X_n\}_{n\in\N}$ は $X$ に確率収束する．
$\{X_n\}_{n\in\N}$ が $X$ に確率収束するなら， $\{X_n\}_{n\in\N}$ は $X$ に法則収束する．

すなわち，

概収束→確率収束
平均収束→確率収束
確率収束→法則収束

が成り立つ．なお，一般の場合に概収束と平均収束の間に強弱の関係はない．

しかし， $\{X_n\}_{n\in\N}$ に一様可積分という仮定を加えると，

概収束すれば1次平均収束すること(Vitaliの収束定理)
1次平均収束することと確率収束することが同値であること

が示される．

この一様可積分ついては，次の記事で説明しているので参照されたい．

【次の記事：一様可積分とヴィタリの収束定理｜ルベーグの収束定理の一般化】

一様可積分性をもつ確率変数列については，極限と積分の順序交換に関する[Vitaliの収束定理]が成り立つ．[Vitaliの収束定理]は[Lebesgueの収束定理]で必要であった優関数をとってこなくても適用できる点がメリットである．なお，[Vitaliの収束定理]は「概収束する確率変数列は1次平均収束する」と表現することもできる．

概収束と確率収束

任意に $\epsilon>0$ をとる． $\{X_n\}_{n\in\N}$ が $X$ に概収束するなら，定義よりほとんど全ての $\omega\in\Omega$ に対して

$\begin{align*} \lim_{n\to\infty}X_n(\omega)=X(\omega) \end{align*}$

だから，ほとんど全ての $\omega\in\Omega$ に対して $\lim_{n\to\infty}I_{\{|X_n-X|>\epsilon\}}=0$ である．

また， $\Omega$ 上で $I_{|X_n-X|>\epsilon}\le1$ であり， $\mathbb{E}(1)=1<\infty$ だから，Lebesgueの収束定理より

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{I_{|X_n-X|>\epsilon}} =&\mathbb{E}\brc{\lim_{n\to\infty}I_{\{|X_n-X|>\epsilon\}}} \\=&\mathbb{E}[0] =0 \end{align*}$

が従う．すなわち， $\{X_n\}_{n\in\N}$ は $X$ に確率収束する．

平均収束と確率収束

任意の $\epsilon>0$ に対して

$\begin{align*} 0\le&\mathbb{E}\brc{I_{\{|X_n-X|>\epsilon\}}} \\\le&\mathbb{E}\brc{\frac{|X_n-X|^p}{\epsilon^p}} \\\le&\frac{1}{\epsilon^p}\mathbb{E}\brc{|X_n-X|^p} \end{align*}$

が成り立つ(本質的にChebyshevの不等式)．

よって， $\{X_n\}_{n\in\N}$ が $X$ に概収束するなら，定義より

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{|X_n-X|^p}=0 \end{align*}$

だから， $\lim_{n\to\infty}\mathbb{E}\brc{I_{\{|X_n-X|>\epsilon\}}}=0$ が従う．すなわち， $\{X_n\}_{n\in\N}$ は $X$ に確率収束する．

確率収束と法則収束

任意に $\epsilon>0$ ，実数値有界連続関数 $f$ をとり， $M:=\sup_{x\in\R}|f(x)|$ とする．一般に

$\begin{align*} &\lim_{\lambda\to\infty}\mathbb{E}\brc{I_{\{|X|>R\}}} \\=&\lim_{\lambda\to\infty}\mathbb{P}(\set{\omega\in\Omega}{|X(\omega)|>\lambda}) \\=&0 \end{align*}$

なので，ある $R>0$ が存在して，

$\begin{align*} \mathbb{E}\brc{I_{\{|X|>R\}}} <\frac{\epsilon}{6M} \end{align*}$

が成り立つ．

また，有界閉区間 $[-2R,2R]$ 上で $f$ は連続だから， $[-2R,2R]$ 上で $f$ は一様連続である(Heine-Cantorの定理)．よって，ある $\delta\in(0,R)$ が存在して， $|x-y|\le\delta$ かつ $|x|\le R$ なら

$\begin{align*} |f(x)-f(y)|<\frac{\epsilon}{3} \end{align*}$

が成り立つ．

さらに， $\{X_n\}_{n\in\N}$ が $X$ に確率収束するなら，定義より，ある $N\in\N$ が存在して， $n>N$ なら

$\begin{align*} \mathbb{E}\brc{I_{\{|X_n-X|>\delta\}}} <\frac{\epsilon}{6M} \end{align*}$

が成り立つ．

よって， $n>N$ なら

$\begin{align*} &|\mathbb{E}[f(X_n)]-\mathbb{E}[f(X)] \\=&|\mathbb{E}[f(X_n)-f(X)]| \\\le&\mathbb{E}[|f(X_n)-f(X)|] \\=&\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X|>R\}}} \\&+\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X_n-X|>\delta\}\cap\{|X|\le R\}}} \\&+\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X_n-X|\le\delta\cap\{|X|\le R\}\}}} \\\le&\mathbb{E}\brc{(|f(X_n)|+|f(X)|)I_{\{|X|>R\}}} \\&+\mathbb{E}\brc{(|f(X_n)|+|f(X)|)I_{\{|X_n-X|>\delta\}}} \\&+\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X_n-X|\le\delta\}\cap\{|X|\le R\}}} \\\le&\mathbb{E}\brc{(M+M)I_{\{|X|>R\}}} \\&+\mathbb{E}\brc{(M+M)I_{\{|X_n-X|>\delta\}}} \\&+\mathbb{E}\brc{\frac{\epsilon}{3} I_{\{|X_n-X|\le\delta\}\cap\{|X|\le R\}}} \\\le&2M\mathbb{E}\brc{I_{\{|X|>M\}}}+2M\mathbb{E}\brc{I_{\{|X_n-X|>\delta\}}}+\frac{\epsilon}{3}\mathbb{E}[1] \\<&2M\cdot\frac{\epsilon}{6M}+2M\cdot\frac{\epsilon}{6M}+\frac{\epsilon}{3} =\epsilon \end{align*}$

が従う．すなわち， $\{X_n\}_{n\in\N}$ は $X$ に法則収束する．

参考文献

確率論 (舟木直久著，朝倉書店)

本書は確率論の入門書である．

全体を通して丁寧に書かれており，初学者にも読み始めやすい教科書である．

第1章で

確率論における基礎的な概念について整理されている点
確率論の重要なテーマである「大数の法則」と「中心極限定理」の概観がなされている点

は非常にありがたい．

また，確率論では確率変数の扱いとしてLebesgue積分が必須の知識である．

このため，第2章ではLebesgue積分など測度論に関する基本的な知識について丁寧に整理されているので，必要に応じて第2章を参照することによりLebesgue積分について習熟していなくても読み進めやすくなっている．

Amazon 楽天市場