積率母関数が微分できてn次モーメントが得られることの証明

実数値確率変数$X$に対して，$X^n$($n\in\N$)の期待値$E[X^n]$を$X$の$n$次モーメントといいます．

１次モーメント$E[X]$はよく知られているように$X$の平均を表しますし，加えて２次モーメント$E[X^2]$も分かると$X$の分散を求めることができますね．このように，モーメントは確率変数の性質を捉える上で重要な量です．

また，$e^{tX}$の期待値$E[e^{tX}]$を$X$の積率母関数またはモーメント母関数などといい，$M(t)=E[e^{tX}]$とすると

$\begin{align*}\frac{d^nM}{dt^n}(t) =\frac{d^n}{dt^n}E[e^{tX}] =E\brc{\frac{d^n}{dt^n}e^{tX}} =E[X^n e^{tX}]\end{align*}$

となって，$t=0$を代入することで$n$次モーメントが$E[X^n]=\dfrac{d^nM}{dt^n}(0)$により求められます．

しかし，この式変形では微分$\dfrac{d^n}{dt^n}$と期待値$E$の順序を途中で交換しており，これが本当に正しいのかどうか数学的にはきちんと議論する必要があります．

そこで，この記事では積率母関数が存在すれば，この順序交換がきちんと正当化できることをルベーグ(Lebesgue)の収束定理から証明します．

積率母関数
1. 積率母関数の定義
2. 積率母関数の導関数
ルベーグの収束定理
積率母関数の導関数の定理の証明
1. 証明の方針
2. 証明

積率母関数

この記事では実数値確率変数を$X$とします．

積率母関数の定義

まずは積率母関数の定義を確認しましょう．

確率空間$(\R,\mathcal{B}(\R),P)$上の実数値確率変数$X$を考える．$t\in\R$に対して

$\begin{align*}E[e^{tX}]=\int_{\R}e^{tx}\,P(dx)\end{align*}$

が存在すれば，これを$t$でのXの積率母関数（またはモーメント母関数）という．

ただし，$\mathcal{B}(\R)$は$\R$のボレル集合族である．

$X$の確率密度関数を$f$とすれば

$\begin{align*}E[e^{tX}]=\int_{\R}e^{tx}f(x)\,dx\end{align*}$

と表すこともできるので，確率空間をよく知らない場合はこれを$t$の積率母関数の定義と思って構いません．

以下では特に断りませんが，$X$は確率空間$(\R,\mathcal{B}(\R),P)$上の実数値確率変数とします．

積率母関数の導関数

積率母関数の導関数について次が成り立ちます．この記事では，この定理を示すことを目標とします．

[積率母関数の導関数] 確率変数$X$に対して，ある開区間$I$上で積率母関数$M(t)=E[e^{tX}]$が存在すれば，$M\in C^{\infty}(I)$かつ任意の$n\in\N$に対して$E[X^{n}e^{tX}]<\infty$であって

$\begin{align*}E[X^{n}e^{tX}]=\frac{d^{n}M}{dt^{n}}(t)\end{align*}$

が成り立つ．

$0\in I$を満たす場合には，$t=0$とすることで次の系が成り立ちますね．

[積率母関数とモーメント] $0$の近傍で積率母関数$M$が存在する確率変数$X$に対して，$M\in C^{\infty}(I)$かつ任意の$n\in\N$に対して$E[X^{n}]<\infty$であって

$\begin{align*}E[X^{n}]=\frac{d^{n}M}{dt^{n}}(0)\end{align*}$

が成り立つ．

よって，積率母関数$M$が得られていれば，$n$階導関数$\dfrac{d^nM}{dt^n}$を求めて$t=0$を代入すれば$n$次モーメント$E[X^n]$が得られますね．

ルベーグの収束定理

関数列$\{f_s\}$について

$\begin{align*}\lim\limits_{s\to a}\int_{A}f_{s}(x)\,dx=\int_{A}\lim\limits_{s\to a}f_{s}(x)\,dx\end{align*}$

と極限と積分の順序交換ができるとき，$\{f_s\}$は項別積分可能であるといいます．

測度論においてルベーグの収束定理(またはルベーグの優収束定理)は項別積分可能であるための十分条件を述べたものとして重要です．

[ルベーグの収束定理] $I$は$0$を含む開区間とし，$A\subset\R$はルベーグ可測集合とする．$A$上のルベーグ可測関数族$\{f_s\}_{s\in I}$が次の２条件を満たすとする．

$A$上ほとんど至るところで$\lim\limits_{s\to 0}f_{s}$が存在する．
あるルベーグ可積分関数$g:A\to\R$が存在して，任意の$s\in I$に対して，$A$上ほとんど至るところで$|f_{s}|\le g$が成り立つ．

このとき，$\lim\limits_{s\to 0}f_{s}$は$A$上ルベーグ可積分で

$\begin{align*}\lim_{s\to 0}\int_{A}f_{s}(x)\,dx=\int_{A}\lim_{s\to 0}f_{s}(x)\,dx\end{align*}$

が成り立つ．

ルベーグの収束定理は一般の測度空間でも成り立ちます．この記事では，測度空間$(\R,\mathbb{B}(\R),P)$に対して用います．

２つ目の条件の$g$はパラメータ$s$に依らない関数として存在しなければならないことに注意してください．

また，ルベーグの収束定理の使い方の例は，以下の記事を参照してください．

ルベーグの収束定理の練習｜具体例から使い方を理解する

ルベーグ積分では極限と積分の順序交換ができる[ルベーグの収束定理]があります．リーマン積分では一様収束であることを示せば極限と積分の順序交換ができますが，[ルベーグの収束定理]は一様収束より使いやすいものとなっています．

積率母関数の導関数の定理の証明

それでは上記の[積率母関数の導関数]の定理の証明に移ります．

証明の方針

[積率母関数の導関数]の定理を示すために，ルベーグの収束定理をどのように用いるか簡単に方針を説明しておきます．

積率母関数$M$の定義は

$\begin{align*}M(t)=\int_{\R}e^{tx}\,P(dx)\end{align*}$

だったので，

$\begin{align*}\frac{dM}{dt}(t) =&\lim_{h\to0}\frac{M(t+h)-M(t)}{h} \\=&\lim_{h\to0}\int_{\R}\frac{e^{tx}-e^{(t+h)x}}{h}\,P(dx) \\=&\lim_{h\to0}\int_{\R}xe^{(t+\theta h)x}\,P(dx)\quad\dots(*)\end{align*}$

となりますね（$\theta\in(0,1)$）．

最後の等式では平均値の定理を用いています．

また，

$\begin{align*}E[Xe^{tX}]=&\int_{\R}xe^{tx}\,P(dx) \\=&\int_{\R}\lim_{h\to0}xe^{(t+\theta h)x}\,P(dx)\quad\dots(**)\end{align*}$

ですから，$(*)$と$(**)$は$\lim\limits_{h\to0}$と$\dint_{\R}$の順序交換をしたものになっています．

よって，ルベーグの収束定理を適用することができれば，[積率母関数の導関数]の定理の$n=1$での等式が成り立つことになりますね．

証明

それでは証明しましょう．

[積率母関数の導関数(再掲)] 確率変数$X$に対して，ある開区間$I$上で積率母関数$M(t)=E[e^{tX}]$が存在すれば，$M\in C^{\infty}(I)$かつ任意の$n\in\N$に対して$E[X^{n}e^{tX}]<\infty$であって

$\begin{align*}\frac{d^{n}M}{dt^{n}}(t)=E[X^{n}e^{tX}]\end{align*}$

が成り立つ．

$I=(a,b)$とする．任意に$t\in I$をとり，$t$で$M$が微分可能であることを示す．

$c:=\frac{a+t}{2}$, $d:=\frac{b+t}{2}$とする．平均値の定理より，$t+h\in(c,d)$なる任意の$h\in\R$に対して，ある$\theta\in(0,1)$が存在して

$\begin{align*}\frac{M(t+h)-M(t)}{h}=&\int_{\R}\frac{e^{(t+h)x}-e^{tx}}{h}\,P(dx) \\=&\int_{\R}xe^{(t+\theta h)x}\,P(dx)\end{align*}$

が成り立つ．

いま，$\R$上至るところで

$\begin{align*}\lim_{h\to0}xe^{(t+\theta h)x}=xe^{tx}\end{align*}$

である（上記のルベーグの収束定理の１つ目の条件に相当）．$t+\theta h\in(c,d)$より

$\begin{align*}\lim_{x\to-\infty}\frac{xe^{(t+\theta h)x}}{e^{cx}}=0,\quad \lim_{x\to\infty}\frac{xe^{(t+\theta h)x}}{e^{dx}}=0\end{align*}$

だから，ある$R>0$が存在して

$x<-R$なら$|xe^{(t+\theta h)x}|<e^{cx}$
$R<x$なら$|xe^{(t+\theta h)x}|<e^{dx}$

が成り立つ．よって，$g:\R\to\R$を

$\begin{align*}g(x)=\begin{cases}e^{cx}&(x<-R)\\Re^{cx}&(-R\le x\le0)\\Re^{dx}&(0\le x\le R)\\e^{dx}&(R<x)\end{cases}\end{align*}$

とすると，$t+h\in(c,d)$なる任意の$h\in\R$に対して$\abs{xe^{(t+\theta h)x}}\le g(x)$が成り立つ．

また，$I$上で積率母関数が存在することより$E[e^{cX}]$, $E[e^{dX}]$は存在するから，

$\begin{align*}&\int_{\R}g(x)\,P(dx) \\=&\int_{-\infty}^{-R}e^{cx}\,P(dx)+\int_{-R}^{0}Re^{cx}\,P(dx) \\&\qquad+\int_{0}^{R}Re^{dx}\,P(dx)+\int_{R}^{\infty}e^{dx}\,P(dx) \\\le&(R+1)E[e^{cX}]+(R+1)E[e^{dX}]<\infty\end{align*}$

となって，$g$は$\R$上可積分であることが分かる（上記のルベーグの収束定理の２つ目の条件に相当）．

以上より，ルベーグの収束定理が適用できて

$\begin{align*}\lim_{h\to0}\frac{M(t+h)-M(t)}{h} =&\lim_{h\to0}\int_{\R}xe^{(t+\theta h)x}\,P(dx) \\=&\int_{\R}\lim_{h\to0}xe^{(t+\theta h)x}\,P(dx) \\=&\int_{\R}xe^{tx}\,P(dx)=E[Xe^{tX}]\end{align*}$