積率母関数が微分できてn次モーメントが得られることの証明

実数値確率変数$X$に対して，$X^n$($n\in\N$)の期待値$E[X^n]$を$X$の$n$次モーメントといいます．

１次モーメント$E[X]$はよく知られているように$X$の平均を表しますし，２次モーメント$E[X^2]$も分かると$X$の分散を求めることができますね．このように，モーメントは確率変数の性質を捉える上で重要な量です．

また，$e^{tX}$の期待値$E[e^{tX}]$を$X$の積率母関数またはモーメント母関数などといい，$M(t)=E[e^{tX}]$とすると

$\begin{align*} \frac{d^nM}{dt^n}(t) =\frac{d^n}{dt^n}E[e^{tX}] =E\brc{\frac{d^n}{dt^n}e^{tX}} =E[X^n e^{tX}] \end{align*}$

となって，$t=0$を代入することで$n$次モーメントが$E[X^n]=\frac{d^nM}{dt^n}(0)$により求められます．

しかし，この式変形では微分$\frac{d^n}{dt^n}$と期待値$E$の順序を途中で交換しており，これが本当に正しいのか数学的にはきちんと議論する必要があります．

そこで，この記事では積率母関数が存在すれば，この順序交換がきちんと正当化できることをLebesgue(ルベーグ)の収束定理から証明します．

1 積率母関数
- 1.1 積率母関数の定義
- 1.2 積率母関数の導関数
2 ルベーグの収束定理
3 積率母関数の導関数の定理の証明
- 3.1 証明の方針
- 3.2 証明

積率母関数

この記事では実数値確率変数を$X$とします．

積率母関数の定義

まずは積率母関数の定義を確認しましょう．

確率空間$(\R,\mathcal{B}(\R),P)$上の実数値確率変数$X$を考える．$t\in\R$に対して

$\begin{align*} E[e^{tX}]=\int_{\R}e^{tx}\,P(dx) \end{align*}$

が存在すれば，これを$t$での積率母関数またはモーメント母関数という．

ただし，$\mathcal{B}(\R)$は$\R$のボレル集合族である．

$X$の確率密度関数を$f$とすれば

$\begin{align*} E[e^{tX}]=\int_{\R}e^{tx}f(x)\,dx \end{align*}$

と定義することもできるので，確率空間をよく知らない場合はこれを$t$の積率母関数の定義と思って構いません．

以下，特に断りませんが，$X$は確率空間$(\R,\mathcal{B}(\R),P)$上の実数値確率変数とします．

積率母関数の導関数

積率母関数の導関数について次が成り立ちます．この記事では，この定理を示すことを目標とします．

[積率母関数の導関数]　確率変数$X$に対して，ある開区間$I$上で積率母関数$M(t)=E[e^{tX}]$が存在すれば，$M\in C^{\infty}(I)$かつ任意の$n\in\N$に対して$E[X^{n}e^{tX}]<\infty$であって

$\begin{align*} \frac{d^{n}M}{dt^{n}}(t)=E[X^{n}e^{tX}] \end{align*}$

が成り立つ．

$0\in I$を満たす場合には，$t=0$とすることで次の系が成り立ちますね．

[積率母関数とモーメント]　確率変数$X$に対して，全ての$n$次モーメント$E[X^{n}]$が存在して

$\begin{align*} E[X^{n}]=\frac{d^{n}M}{dt^{n}}(0) \end{align*}$

が成り立つ．

よって，積率母関数$M$が得られていれば，$n$階導関数$\frac{d^nM}{dt^n}$を求めて$t=0$を代入すれば$n$次モーメント$E[X^n]$が得られますね．

ルベーグの収束定理

極限と積分の順序交換ができることを項別積分可能といいます．

測度論において，次のLebesgueの収束定理(またはLebesgueの優収束定理)は項別積分可能であるための十分条件を述べたものとして重要です．

[Lebesgueの収束定理]　$(\Omega,\mathcal{F},\nu)$を測度空間とする．$a\in\R$とし，開区間$(c,d)$は$a$を含むとする．可測集合$A\subset\Omega$上の可測関数$f_{s}:A\to\R$ ($s\in (c,d)$)は次の２条件を満たすとする．

$A$上ほとんど至るところで$\lim_{s\to a}f_{s}$が存在する．
ある可積分関数$g:A\to\R$が存在して，任意の$s\in I$に対して，$A$上ほとんど至るところで$|f_{s}|\le g$が成り立つ．

このとき，$\lim_{s\to a}f_{s}$は$A$上$\nu$-可積分で

$\begin{align*} \lim_{s\to a}\int_{A}f_{s}(x)\,\nu(dx) =\int_{A}\lim_{s\to a}f_{s}(x)\,\nu(dx) \end{align*}$

が成り立つ．

一般の測度空間$(\Omega,\mathcal{F},\nu)$における形で書きましたが，この記事では確率空間$(\R,\mathcal{B}(\R),P)$に対して用います．

条件(2)の$g$はパラメータ$s$に依らない関数として存在しなければならないことに注意してください．

Lebesgueの収束定理は多くの場合で関数列$\{f_{n}\}$に対して書かれていますが，上記のように連続なパラメータ$s\in I$をもつ関数族$\{f_s\}$に対しても同様に成り立ちます．

なお，よくある関数列に対するLebesgueの収束定理については，以下の定理を参照してください．

【ルベーグの優収束定理の練習｜具体例から使い方を理解する】

例えば，$\lim\limits_{n\to\infty}\dint_{0}^{\infty}\dfrac{1}{1+x^n}\,dx$は極限$\lim\limits_{n\to\infty}$と積分$\dint_{0}^{\infty}$の順序交換ができれば簡単に値が求めらます．この記事では，この例をもとにLebesgueの収束定理の使い方を説明しています．

積率母関数の導関数の定理の証明

それでは上記の[積率母関数の導関数]の定理の証明に移ります．

証明の方針

[積率母関数の導関数]の定理を示すために，Lebesgueの収束定理をどのように用いるか簡単に方針を説明しておきます．

積率母関数$M$の定義は

$\begin{align*} M(t)=\int_{\R}e^{tx}\,P(dx) \end{align*}$

だったので，

$\begin{align*} \frac{dM}{dt}(t) =&\lim_{h\to0}\frac{M(t+h)-M(t)}{h} \\=&\lim_{h\to0}\int_{\R}\frac{e^{tx}-e^{(t+h)x}}{h}\,P(dx) \\=&\lim_{h\to0}\int_{\R}xe^{(t+\theta h)x}\,P(dx)\quad\dots(*) \end{align*}$

となりますね($\theta\in(0,1)$)．最後の等式では平均値の定理を用いています．

また，

$\begin{align*} E[Xe^{tX}] =&\int_{\R}xe^{tx}\,P(dx) \\=&\int_{\R}\lim_{h\to0}xe^{(t+\theta h)x}\,P(dx)\quad\dots(**) \end{align*}$

ですから，$(*)$と$(**)$で$\lim\limits_{h\to0}$と$\dint_{\R}$の順序交換ができれば，[積率母関数の導関数]の定理の$n=1$での等式が成り立つことになります．

これを示すためにLebesgueの収束定理を用います．

証明

示す定理を再掲します．

[積率母関数の導関数(再掲)]　確率変数$X$に対して，ある開区間$I$上で積率母関数$M(t)=E[e^{tX}]$が存在すれば，$M\in C^{\infty}(I)$かつ任意の$n\in\N$に対して$E[X^{n}e^{tX}]<\infty$であって

$\begin{align*} \frac{d^{n}M}{dt^{n}}(t)=E[X^{n}e^{tX}] \end{align*}$

が成り立つ．

$I=(a,b)$とする．任意に$t\in I$をとり，$t$で$M$が微分可能であることを示す．

仮定より

$\begin{align*} M(t)=E[e^{tX}]=\int_{\R}e^{tx}\,P(dx)<\infty\quad\dots(\star) \end{align*}$

が成り立つ．

まず，$n=1$の場合の等式を示す．

$c:=\frac{a+t}{2}$, $d:=\frac{b+t}{2}$とする．$t+h\in(c,d)$なる$h\in\R$に対して，ある$\theta\in(0,1)$が存在して

$\begin{align*} \frac{M(t+h)-M(t)}{h} =&\int_{\R}\frac{e^{(t+h)x}-e^{tx}}{h}\,P(dx) \\=&\int_{\R}xe^{(t+\theta h)x}\,P(dx) \end{align*}$

が成り立つ(平均値の定理)．いま，$\R$上至るところで

$\begin{align*} \lim_{h\to0}xe^{(t+\theta h)x}=xe^{tx} \end{align*}$

である(上記のLebesgueの収束定理の条件(１)に相当)．$t+\theta h\in(c,d)$より

$\begin{align*} \lim_{x\to-\infty}\frac{xe^{(t+\theta h)x}}{e^{cx}}=0,\quad \lim_{x\to\infty}\frac{xe^{(t+\theta h)x}}{e^{dx}}=0 \end{align*}$

だから，ある$R>0$が存在して

$x<-R$なら$|xe^{(t+\theta h)x}|<e^{cx}$
$R<x$なら$|xe^{(t+\theta h)x}|<e^{dx}$

が成り立つ．よって，$g:\R\to\R$を

$\begin{align*} g(x)=\begin{cases} e^{cx}&(x<-R)\\ Re^{cx}&(-R\le x\le0)\\ Re^{dx}&(0\le x\le R)\\ e^{dx}&(R<x) \end{cases} \end{align*}$

とすると，$t+h\in(c,d)$なる任意の$h\in\R$に対して$\abs{xe^{(t+\theta h)x}}\le g(x)$が成り立つ．また，仮定より

$\begin{align*} &\int_{\R}g(x)\,P(dx) \\=&\int_{-\infty}^{-R}e^{cx}\,P(dx)+\int_{-R}^{0}Re^{cx}\,P(dx)+\int_{0}^{R}Re^{dx}\,P(dx)+\int_{R}^{\infty}e^{dx}\,P(dx) \\\le&E[e^{cX}]+RE[e^{cX}]+RE[e^{dX}]+E[e^{dX}] <\infty \end{align*}$

だから，$g$は$\R$上可積分である(上記のLebesgueの収束定理の条件(２)に相当)．

以上より，Lebesgueの収束定理が適用できて，関数$x\mapsto xe^{(t+\theta h)x}$は$\R$上$P$-可積分で

$\begin{align*} \lim_{h\to0}\frac{M(t+h)-M(t)}{h} =&\lim_{h\to0}\int_{\R}xe^{(t+\theta h)x}\,P(dx) \\=&\int_{\R}\lim_{h\to0}xe^{(t+\theta h)x}\,P(dx) \\=&\int_{\R}xe^{tx}\,P(dx) =E[Xe^{tX}] \end{align*}$

が従う．$t\in I$は任意だったから，$M$は$I$上微分可能で$n=1$の場合の等式が得られた．

$n\ge2$の場合も同様に，ある$R_{n}>0$が存在して

$x<-R_{n}$なら$|x^{n}e^{(t+\theta h)x}|<e^{cx}$
$R_{n}<x$なら$|x^{n}e^{(t+\theta h)x}|<e^{dx}$

が成り立つので，帰納的に$M\in C^{\infty}(I)$と任意の$n\in\N$に対して等式が従う．