幾何分布の最尤推定量｜0始まり・1始まりの違いも解説

幾何分布は、最尤法の計算を手で最後まで追える代表的な例です。この記事では「最初の成功までに何回失敗したか」を数える0始まりの幾何分布について、成功確率 \(p\) の最尤推定量を導きます。

尤度・対数尤度・スコア関数の意味から確認したい方は、先に「最尤法とは？尤度・対数尤度・スコア関数と推定の手順」をご覧ください。

0始まりの幾何分布を使う

独立な確率変数 \(X_1,\ldots,X_n\) が、成功確率 \(0<p<1\) の幾何分布に従うとします。本記事では \(X\) を最初の成功より前に起きた失敗の回数と定義します。そのため、\(X\) が取り得る値は、

\begin{align*} x\in\{0,1,2,\ldots\} \end{align*}

で、確率質量関数は、

\begin{align*} P(X=x)=p(1-p)^x \end{align*}

です。成功が1回目に来れば \(X=0\)、2回の失敗のあとに成功すれば \(X=2\) です。

尤度関数を作る

観測値を \(x_1,\ldots,x_n\) とします。標本が独立なので、それぞれの確率を掛け合わせれば尤度関数になります。

\begin{align*} L(p) &=\prod_{i=1}^{n}p(1-p)^{x_i}\\ &=p^n(1-p)^{\sum_{i=1}^{n}x_i} \end{align*}

対数を取ると、

\begin{align*} \ell(p) =n\log p+\left(\sum_{i=1}^{n}x_i\right)\log(1-p) \end{align*}

となります。

スコア方程式を解く ✍️

対数尤度を \(p\) で微分すると、

\begin{align*} \ell'(p) =\frac{n}{p}-\frac{\sum_{i=1}^{n}x_i}{1-p} \end{align*}

です。これを0と置いて整理します。

\begin{align*} \frac{n}{p}-\frac{\sum_i x_i}{1-p}&=0\\ n(1-p)&=p\sum_i x_i\\ \hat p&=\frac{n}{n+\sum_i x_i}\\ &=\frac{1}{1+\bar x} \end{align*}

これが0始まりの幾何分布における最尤推定値です。

本当に最大値？

\(\sum_i x_i>0\) のとき、2階微分は、

\begin{align*} \ell''(p) =-\frac{n}{p^2} -\frac{\sum_i x_i}{(1-p)^2} <0 \end{align*}

です。対数尤度は \(0<p<1\) で山形になるため、先ほど求めた点が唯一の最大点です。

すべての観測値が0なら、最初の試行ですべて成功したことになります。この場合、\(p=1\) を母数空間に含めるなら \(\hat p=1\) です。\(0<p<1\) とする流儀では最大値は範囲内で達成されず、\(p\) を1へ近づけるほど尤度が高くなります。

数字を入れてみよう 🧮

観測値が \(0,2,1,0,3\) なら、標本平均は、

\begin{align*} \bar x=\frac{0+2+1+0+3}{5}=1.2 \end{align*}

です。したがって、

\begin{align*} \hat p=\frac{1}{1+1.2} =\frac{5}{11} \approx0.455 \end{align*}

と推定できます。

「+1」が付かない教科書もある？

あります。幾何分布には、成功した試行も含めた試行回数を数える1始まりの定義もあります。その確率質量関数は、

\begin{align*} P(Y=y)=p(1-p)^{y-1}, \qquad y=1,2,\ldots \end{align*}

です。この定義では \(Y=X+1\) なので、最尤推定値は、

\begin{align*} \hat p=\frac{1}{\bar y} \end{align*}

となります。「\(+1\) があるかどうか」で迷ったら、データが0から始まるのか、1から始まるのかを確認してください。

まとめ

0始まりの幾何分布 \(P(X=x)=p(1-p)^x\) では、成功確率の最尤推定値は \(\hat p=1/(1+\bar x)\) です。尤度を作り、対数を取り、微分して最大値を確認するという最尤法の基本手順をきれいに追えます。

次は、形状母数まで未知にすると閉じた式だけでは解けないワイブル分布の最尤推定へ進みましょう。