最尤推定法・尤度関数の直感的な考え方｜データから分布を推定

最尤推定法の考え方

最尤推定法を使う際には，最初に

1. どのような分布に従うのか
2. 実際に得られたデータ

の２つを用意します．例えば，「全国の成人男性の身長」を最尤推定法で考える際には

1. 全国の成人男性の身長は「正規分布」に従う
2. 1000人の成人男性の身長のデータ

などが既に分かっているものとします．この２つから「全国の成人男性の身長」がどのように分布しているかを推定するわけですね．

ここからしばらく次の問題を考えましょう．

分布を推定するとは？

「正規分布を推定する」とはどういうことでしょうか？

正規分布は（確率密度関数が）下図のような山のような形をしたグラフで表される分布でした．

ただし，「正規分布」と一言で言っても，グラフの

• 裾の広がり方（分散）
• 真ん中の位置（平均）

に特徴が表れます．例えば，なだらかな（分散が大きい）正規分布のグラフ

になることもありますし，山の頂上の$x$が$0$でない（平均が$0$でない）正規分布のグラフ

になることもあります．

よって，分布を推定するとは「このような色々な分布の中で，どれが最もそれっぽい正規分布なのかを推定しよう」ということなわけです．

最尤推定法の考え方

ここで，問題の６個のデータ4.4, 5.3, 5.2, 5.7, 4.7, 4.1を数直線上に図示すると下図のようになります．

さらに，このデータが正規分布に従うことが分かっているとします．

このとき，「どんな正規分布だと思いますか？」と聞くと，多くの人は以下のようなグラフを描くのではないでしょうか？

一方，多くのデータが集まっているところからずれたグラフ

はなさそうですし，あまりに集中しすぎたグラフ

もなさそうです．つまり，「データがあるところの値が出来るだけ大きくなるような分布がそれっぽい」ということになります．

したがって，正規分布の確率密度関数を$f$とし，６個のデータ4.4, 5.3, 5.2, 5.7, 4.7, 4.1を$f$に代入して掛け合わせた

$$\begin{array}{r}L=f(4.4)f(5.3)f(5.2)f(5.7)f(4.7)f(4.1)\end{array}$$

が最大になるような確率密度関数$f$をもつ分布が，最もそれっぽい正規分布と考えることにしましょう．

要するに「下図の青線の長さの積が最大になる$f(x)$が最もそれっぽい$f(x)$である」という考え方ですね．

このような考え方に基づく分布の推定方法を最尤推定法といいます．

正規分布の最尤推定法

以上が最尤推定法の考え方で，次はいま考えたことを一般化することを考えましょう．

最尤推定法のキモは尤度関数$L$

先ほども書きましたが，最尤推定法を考えるときには，もともと

• データ$x_1,x_2,\dots ,x_n$
• 分布の確率密度関数$f$

が用意されていることが大切です．

具体的に正規分布で考えましょう．平均$\mu$，分散$\sigma$の正規分布の確率密度関数$f_{\mu ,\sigma }$は

$$\begin{array}{r}{f}_{\mu ,\sigma }(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\end{array}$$

と表されるのでしたから，この関数$f_{\mu ,\sigma }$に$n$個のデータ$x_1,x_2,\dots ,x_n$を代入して掛け合わせた

$$\begin{array}{rl}L(\mu ,\sigma )& =\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x_1-\mu {)}^2}{2{\sigma }^2}}\times \cdots \times \frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x_n-\mu {)}^2}{2{\sigma }^2}}\\ & ={\left(\frac{1}{\sqrt{2\pi {\sigma }^2}}\right)}^n{e}^{-\frac{(x_1-\mu {)}^2}{2{\sigma }^2}}{e}^{-\frac{(x_2-\mu {)}^2}{2{\sigma }^2}}\dots e^{-\frac{(x_n-\mu {)}^2}{2{\sigma }^2}}\\ & =(2\pi {\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}\left\{(x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2\right\}}\end{array}$$

を尤度関数と言うわけですね．

先ほど説明したように正規分布の「位置」と「形」はそれぞれ平均$\mu$と分散$\sigma$によって決まります．

よって，正規分布の最尤推定法では尤度関数$L(\mu ,\sigma )$を最大にする$\mu$と$\sigma$を求めることにより，最も尤もらしい正規分布を推定するということになります．

微分しやすい対数尤度関数$\log L$

さて，それでは実際にどうすれば尤度関数$L(\mu ,\sigma )$が最大となるような$\mu$と$\sigma$を求めることができるのでしょうか？

関数の最大，最小を求める問題では微分を用いるのがよくある方法ですが，尤度関数$L(\mu ,\sigma )$は積の形で表されているので微分すると式がやや煩雑になります．

そこで，尤度関数$L$に自然対数をとった対数尤度関数を用いるとスッキリすることがよくあります．

$\log$は単調増加関数なので，尤度関数$L$が最大になるとき対数尤度関数$\log L$も最大になります．

よって，平均$\mu$，分散$\sigma$の正規分布の尤度関数$L(\mu ,\sigma )$を最大にするような$\mu$と$\sigma$を求めたければ，対数尤度関数$\log L(\mu ,\sigma )$を最大にするような$\mu$と$\sigma$を求めればよいことになります．

積のまま微分すると式は煩雑になりますが，和の微分は各項で微分ができるので式はそれほど煩雑になりません．対数をとって和の形にしたのはこの理由からです．

平均$\mu$，分散$\sigma$の正規分布の対数尤度関数は

$$\begin{array}{rl}M(\mu ,\sigma )& =\log L(\mu ,\sigma )\\ & =\log \left[(2\pi {\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}\left\{(x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2\right\}}\right]\\ & =-\frac{n}{2}\log 2\pi -n\log \sigma -\frac{(x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{2{\sigma }^2}\end{array}$$

となりますね．

対数尤度関数$\log L$を微分して極値を求める

上述したように，微分を用いることで対数尤度関数を$M(\mu ,\sigma ):=\log L(\mu ,\sigma )$とおき，$M$の最大値を求めましょう．

一般に微分可能な２変数関数$f$に対して，$\frac{\partial f}{\partial x}(a,b)=\frac{\partial f}{\partial y}(a,b)=0$を満たす$(a,b)$が$f(x,y)$を最大（最小）にする$(x,y)$の候補です．

実際，正規分布の対数尤度関数の場合には

$$\begin{array}{r}\frac{\partial M}{\partial \mu }(\mu ,\sigma )=\frac{\partial M}{\partial \sigma }(\mu ,\sigma )=0\end{array}$$

を満たすような$(\mu ,\sigma )$で$M(\mu ,\sigma )$は最大となります．

$$\begin{array}{rl}& \frac{\partial M}{\partial \mu }(\mu ,\sigma )=0\\ ⟺& -\frac{2(\mu -x_1)+\cdots +2(\mu -x_n)}{2{\sigma }^2}=0\\ ⟺& (\mu -x_1)+\cdots +(\mu -x_n)=0\\ ⟺& \mu =\frac{x_1+\cdots +x_n}{n},\\ & \frac{\partial M}{\partial \sigma }(\mu ,\sigma )=0\\ ⟺& -\frac{n}{\sigma }+\frac{(x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{{\sigma }^3}=0\\ ⟺& (x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2=n{\sigma }^2\\ ⟺& {\sigma }^2=\frac{(x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{n}\end{array}$$

となるので，

• $\mu ={\displaystyle \frac{x_1+\cdots +x_n}{n}}$
• ${\sigma }^2={\displaystyle \frac{(x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{n}}$

のとき$M(\mu ,\sigma )$が最大，すなわち，$L(\mu ,\sigma )$が最大となります．

求まった母平均$\mu$と母分散${\sigma }^2$の最尤推定量の解釈

さて，ただ「正規分布に従う$n$個のデータを用意し，その尤度関数が最大になるような組$(\mu ,\sigma )$を求めよう」と求めたわけですが，今求まった$\mu$と${\sigma }^2$に見覚えはありませんか？

• $\mu ={\displaystyle \frac{x_1+\cdots +x_n}{n}}$はデータ$x_1,\dots ,x_n$の平均
• ${\sigma }^2={\displaystyle \frac{(x_1-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{n}}$はデータ$x_1,\dots ,x_n$の分散

になっていますね！

確かに最尤推定法からそれっぽい結果が導かれました！

この記事では正規分布の最尤推定法を考えましたが，正規分布でない場合にも「分布の関数にデータの値を代入してそれらの積が最大になる分布が，最もそれっぽい分布だ」という最尤推定法のイメージがあれば，同じ考え方で最尤推定法を使うことができます．