確率変数の4つの収束｜概収束，平均収束，確率収束，法則収束

確率変数列$\{X_n\}_{n\in\N}$の収束として，

概収束$X_n\to X\ \mathrm{a.e.}$
$p$次平均収束$X_n\xrightarrow[]{L^p}X$
確率収束$X_n\xrightarrow[]{P}X$
法則収束$X_n\xrightarrow[]{L}X$

の４種類が基本的で，これらの収束の間に強弱の関係があります．

この記事では，

これらの収束の定義
これらの収束の条件の強さ

を説明します．

一連の記事はこちら

【確率変数の４つの収束｜概収束，平均収束，確率収束，法則収束】←この記事
【一様可積分とヴィタリの収束定理｜ルベーグの収束定理の一般化】
【一様可積分性の判定条件｜十分条件と必要十分条件】

1 確率変数の４つの収束
2 収束の強さ
3 ヴィタリの収束定理
4 参考文献

確率変数の４つの収束

まずは確率変数の定義を確認しておきましょう．

$(\Omega,\mathcal{F},\mathbb{P})$を確率空間とし，$(S,\mathcal{S})$を可測空間する．このとき，可測な写像$X:\Omega\to S$を$S$値確率変数(random variable)という．

特に，$S=\R$, $\mathcal{S}=\mathcal{B}(\R)$ ($\R$上のBorel集合族)の場合，$X$を実数値確率変数(real-valued random variable)という．

例えば，６面サイコロをふることに対応する確率空間は

$\Omega=\{1,2,3,4,5,6\}$
$\mathcal{F}=2^\Omega$ ($\Omega$の冪集合)
$\mathbb{P}(\omega)=\frac{1}{6}$ ($\omega\in\Omega$)

です．サイコロを振って

1, 2, 3の目が出れば10点
4, 5の目が出れば20点
6の目が出れば30点

とサイコロの目に点数を与える状況は

$S=\{10,20,30\}$
$\mathcal{S}=2^S$ ($S$の冪集合)
$X:\Omega\to S;\begin{cases}1,2,3\mapsto 10\\4,5\mapsto 20\\6\mapsto 30\end{cases}$

なる可測空間$(S,\mathcal{S})$と確率変数$X:\Omega\to S$を定めることによって表現できます．

この記事では，$(\Omega,\mathcal{F},\mathbb{P})$を確率空間とし，$\mathbb{E}$で期待値を表します：

$\begin{align*} \mathbb{E}[X]=\int_{\Omega}X_n(\omega)\,\mathbb{P}(d\omega). \end{align*}$

また，集合$A\subset\Omega$上の定義関数を$I_{A}$で表します．：

$\begin{align*} I_{A}(\omega)=\begin{cases}1&\omega\in A,\\0&\omega\notin A.\end{cases} \end{align*}$

概収束

[概収束]　実数値確率変数列$\{X_n\}_{n\in\N}$が確率変数$X$に概収束(almost sure convergence)するとは，

$\begin{align*} \mathbb{P}\bra{\set{\omega\in\Omega}{\lim_{n\to\infty}X_n(\omega)=X(\omega)}}=1 \end{align*}$

を満たすことをいう．このとき，$X_n\to X\ \text{a.e.}$などと表す．

「$\lim_{n\to\infty}X_n(\omega)=X(\omega)$を満たさない$\omega\in\Omega$はいるかもしれないが，そのような$\omega$の確率は０である」というのが概収束の定義の意味です．

この定義は

$n\to\infty$でほとんど確実に$X_n$が$X$に収束する
確率測度$\mathbb{P}$において，$\Omega$上ほとんどいたるところで$X_n$が$X$に収束する

などとも言い替えられます．

概収束$X_n\to X\ \text{a.e.}$のa.e.は，almost surely(ほとんど確実に)の略です．

平均収束

[平均収束]　$p\in[1,\infty)$に対して実数値確率変数列$\{X_n\}_{n\in\N}$が確率変数$X$に$p$次平均収束(convergence in the mean of order $p$)するとは，

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{|X_n-X|^p}=0 \end{align*}$

を満たすことをいう．このとき，$X_n\xrightarrow[]{L^p}X$などと表す．

この定義式は

$\begin{align*} \mathbb{E}\brc{|X_n-X|^p}=\|X_n-X\|_{L^p(\Omega)}^p \end{align*}$

と書き換えられるので，$X_n$が$X$に$L^p(\Omega)$上で収束していると表現することもできますね．

確率収束

[確率収束]　実数値確率変数列$\{X_n\}_{n\in\N}$が確率変数$X$に確率収束(stochastic convergence)するとは，任意の$\epsilon>0$に対して，

$\begin{align*} \lim_{n\to\infty}\mathbb{P}\bra{\set{\omega\in\Omega}{|X_n(\omega)-X(\omega)|>\epsilon}}=0 \end{align*}$

を満たすことをいう．このとき，$X_n\xrightarrow[]{P}X$などと表す．

「任意の$\epsilon>0$に対して，$n$を止めるごとに決まる『$X_n(\omega)$と$X(\omega)$が$\epsilon$より離れている$\omega\in\Omega$の集合』の確率が，$n$を大きくしていくときに０に近付く」というのが確率収束の定義の意味です．

また，この定義式は

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{I_{\{|X_n-X|>\epsilon\}}}=0 \end{align*}$

と表すこともできますね．

法則収束

[法則収束]　実数値確率変数列$\{X_n\}_{n\in\N}$が確率変数$X$に法則収束(convergence in law)するまたは分布収束(convergence in distribution)するとは，任意の実数値有界連続関数$f$に対して

$\begin{align*} \lim_{n\to\infty}\mathbb{E}[f(X_n)]=\mathbb{E}[f(X)] \end{align*}$

を満たすことをいう．このとき，$X_n\xrightarrow[]{L}X$や$X_n\xrightarrow[]{D}X$などと表す．

$f(x)=\sin{x}$や$f(x)=e^{-x^2}$など任意の実数値有界連続関数$f$に対して成り立つ必要があります．

なお，左辺の期待値と右辺の期待値が別の確率空間によるものであっても構いません．すなわち，

確率変数列$\{X_n\}_{n\in\N}$が定義された確率空間
確率変数$X$が定義された確率空間

が異なっている場合でも，この定義は問題ありません．

収束の強さ

それでは，いまみた４つの収束の強さは

概収束 $\Ra$ 確率収束
平均収束 $\Ra$ 確率収束
確率収束 $\Ra$ 法則収束

となります(以下で証明しています)．

一般の場合に概収束と平均収束の間に強弱の関係はありませんが，次の記事で説明するように$\{X_n\}_{n\in\N}$に一様可積分という仮定を加えると

概収束すれば１次平均収束すること(Vitaliの収束定理)
１次平均収束することと確率収束することが同値であること

が示されます．

【次の記事：一様可積分とヴィタリの収束定理｜ルベーグの収束定理の一般化】

一様可積分性をもつ確率変数列については，極限と積分の順序交換に関する[Vitaliの収束定理]が成り立つ．[Vitaliの収束定理]は[Lebesgueの収束定理]で必要であった優関数をとってこなくても適用できる点がメリットである．なお，[Vitaliの収束定理]は「概収束する確率変数列は1次平均収束する」と表現することもできる．

概収束と確率収束

$\{X_n\}_{n\in\N}$が$X$に概収束するなら，$\{X_n\}_{n\in\N}$は$X$に確率収束する：

$\begin{align*}X_n\to X\ \text{a.e.}\quad\Ra\quad X_n\xrightarrow[]{P}X\end{align*}$

証明を表示

任意に$\epsilon>0$をとる．$\{X_n\}_{n\in\N}$が$X$に概収束するなら，定義よりほとんど全ての$\omega\in\Omega$に対して

$\begin{align*} \lim_{n\to\infty}X_n(\omega)=X(\omega) \end{align*}$

だから，ほとんど全ての$\omega\in\Omega$に対して$\lim_{n\to\infty}I_{\{|X_n-X|>\epsilon\}}(\omega)=0$である．

また，$\Omega$上で$I_{|X_n-X|>\epsilon}\le1$であり，$\mathbb{E}(1)=1<\infty$だから，Lebesgueの収束定理より

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{I_{|X_n-X|>\epsilon}} =&\mathbb{E}\brc{\lim_{n\to\infty}I_{\{|X_n-X|>\epsilon\}}} \\=&\mathbb{E}[0] =0 \end{align*}$

が従う．すなわち，$\{X_n\}_{n\in\N}$は$X$に確率収束する．

平均収束と確率収束

任意の$p\in[1,\infty)$に対して$\{X_n\}_{n\in\N}$が$X$に$p$次平均収束するなら，$\{X_n\}_{n\in\N}$は$X$に確率収束する：

$\begin{align*}X_n\xrightarrow[]{L^p}X\quad\Ra\quad X_n\xrightarrow[]{P}X\end{align*}$

証明を表示

任意の$\epsilon>0$に対して

$\begin{align*} 0\le&\mathbb{E}\brc{I_{\{|X_n-X|>\epsilon\}}} \\\le&\mathbb{E}\brc{\frac{|X_n-X|^p}{\epsilon^p}} \\\le&\frac{1}{\epsilon^p}\mathbb{E}\brc{|X_n-X|^p} \end{align*}$

が成り立つ(本質的にChebyshevの不等式)．

よって，$\{X_n\}_{n\in\N}$が$X$に$p$次平均収束するなら，定義より

$\begin{align*} \lim_{n\to\infty}\mathbb{E}\brc{|X_n-X|^p}=0 \end{align*}$

だから，$\lim_{n\to\infty}\mathbb{E}\brc{I_{\{|X_n-X|>\epsilon\}}}=0$が従う．すなわち，$\{X_n\}_{n\in\N}$は$X$に確率収束する．

確率収束と法則収束

$\{X_n\}_{n\in\N}$が$X$に確率収束するなら，$\{X_n\}_{n\in\N}$は$X$に法則収束(法則収束)する：

$\begin{align*}X_n\xrightarrow[]{P}X\quad\Ra\quad X_n\xrightarrow[]{L}X\end{align*}$

証明を表示

任意に$\epsilon>0$，実数値有界連続関数$f$をとり，$M:=\sup_{x\in\R}|f(x)|$とする．一般に

$\begin{align*} &\lim_{R\to\infty}\mathbb{E}\brc{I_{\{|X|>R\}}} \\=&\lim_{R\to\infty}\mathbb{P}(\set{\omega\in\Omega}{|X(\omega)|>R}) \\=&0 \end{align*}$

なので，ある$R>0$が存在して，

$\begin{align*} \mathbb{E}\brc{I_{\{|X|>R\}}} <\frac{\epsilon}{6M} \end{align*}$

が成り立つ．

また，有界閉区間$[-2R,2R]$上で$f$は連続だから，$[-2R,2R]$上で$f$は一様連続である(Heine-Cantorの定理)．よって，ある$\delta\in(0,R)$が存在して，$|x-y|\le\delta$かつ$|x|\le R$なら

$\begin{align*} |f(x)-f(y)|<\frac{\epsilon}{3} \end{align*}$

が成り立つ．

さらに，$\{X_n\}_{n\in\N}$が$X$に確率収束するなら，定義より，ある$N\in\N$が存在して，$n>N$なら

$\begin{align*} \mathbb{E}\brc{I_{\{|X_n-X|>\delta\}}} <\frac{\epsilon}{6M} \end{align*}$

が成り立つ．

よって，$n>N$なら

$\begin{align*} &|\mathbb{E}[f(X_n)]-\mathbb{E}[f(X)] \\=&|\mathbb{E}[f(X_n)-f(X)]| \\\le&\mathbb{E}[|f(X_n)-f(X)|] \\=&\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X|>R\}}} \\&+\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X_n-X|>\delta\}\cap\{|X|\le R\}}} \\&+\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X_n-X|\le\delta\cap\{|X|\le R\}\}}} \\\le&\mathbb{E}\brc{(|f(X_n)|+|f(X)|)I_{\{|X|>R\}}} \\&+\mathbb{E}\brc{(|f(X_n)|+|f(X)|)I_{\{|X_n-X|>\delta\}}} \\&+\mathbb{E}\brc{|f(X_n)-f(X)|I_{\{|X_n-X|\le\delta\}\cap\{|X|\le R\}}} \\\le&\mathbb{E}\brc{(M+M)I_{\{|X|>R\}}} \\&+\mathbb{E}\brc{(M+M)I_{\{|X_n-X|>\delta\}}} \\&+\mathbb{E}\brc{\frac{\epsilon}{3} I_{\{|X_n-X|\le\delta\}\cap\{|X|\le R\}}} \\\le&2M\mathbb{E}\brc{I_{\{|X|>M\}}}+2M\mathbb{E}\brc{I_{\{|X_n-X|>\delta\}}}+\frac{\epsilon}{3}\mathbb{E}[1] \\<&2M\cdot\frac{\epsilon}{6M}+2M\cdot\frac{\epsilon}{6M}+\frac{\epsilon}{3} =\epsilon \end{align*}$

が従う．すなわち，$\{X_n\}_{n\in\N}$は$X$に法則収束する．

実は「確率収束する確率変数列$\{X_n\}_n$は概収束する確率変数列$\{X_{n(k)}\}_k$をもつ」を用いれば，より簡単に証明できます．

しかし，この事実を証明するために[Borel-Cantelliの補題]を用いるので，ここでは前提知識の少ない以上の証明を与えました．

ヴィタリの収束定理

さて，この記事で説明したように概収束と１次平均収束には強弱の関係がありませんが，一様可積分という条件を満たす確率変数列に対しては「概収束 $\Ra$ １次平均収束」が成り立ちます．

このことをVitali(ヴィタリ)の収束定理といいます．

平たく言えば，一様可積分性を満たしていれば極限と積分の順序交換ができるので，このVitaliの収束定理はLebesgue(ルベーグ)の収束定理よりも使いやすい場合も多く，ある意味でLebesgueの収束定理の一般化と言えます．

次の記事では，このVitaliの収束定理について説明します．

一連の記事はこちら

【確率変数の４つの収束｜概収束，平均収束，確率収束，法則収束】
【一様可積分とヴィタリの収束定理｜ルベーグの収束定理の一般化】←次の記事
【一様可積分性の判定条件｜十分条件と必要十分条件】

参考文献

確率論 (舟木直久著，朝倉書店)

本書は確率論の入門書である．

全体を通して丁寧に書かれており，初学者にも読み始めやすい教科書である．

第1章で

確率論における基礎的な概念について整理されている点
確率論の重要なテーマである「大数の法則」と「中心極限定理」の概観がなされている点

は非常にありがたい．

また，確率論では確率変数の扱いとしてLebesgue積分が必須の知識である．

このため，第2章ではLebesgue積分など測度論に関する基本的な知識について丁寧に整理されているので，必要に応じて第2章を参照することによりLebesgue積分について習熟していなくても読み進めやすくなっている．

Amazon 楽天市場