モーメント法は、「分布が理論上持っている平均や分散」と「手元のデータで計算した平均や分散」を一致させることで、未知のパラメータを推定する方法です。
いちばん簡単な形が「母平均＝標本平均」です。名前に反して発想はかなり直感的で、最尤法より早く答えを出せることもあります。この記事では、1パラメータ・2パラメータの例を使い、最後に最尤法との使い分けまで整理します 😊
未知パラメータが1個なら1本、2個なら2本の「理論モーメント＝標本モーメント」という方程式を作り、それを解きます。
そもそもモーメントとは？
確率変数 \(X\) の \(r\) 次の原点まわりのモーメントは、
\begin{align*} E[X^r] \end{align*}
です。\(r=1\) なら \(E[X]\) なので、これは母平均です。\(r=2\) なら \(E[X^2]\) で、分散を表すときにも使います。
一方、データ \(x_1,\ldots,x_n\) から作る \(r\) 次の標本モーメントは、
\begin{align*} m_r'=\frac{1}{n}\sum_{i=1}^{n}x_i^r \end{align*}
です。特に1次の標本モーメントは、
\begin{align*} m_1'=\frac{1}{n}\sum_{i=1}^{n}x_i=\bar x \end{align*}
となり、いつもの標本平均です。
モーメント法とは？ 💡
分布が未知パラメータ \(\theta\) を持ち、理論上の平均が \(E_\theta[X]\) だとします。モーメント法では、
\begin{align*} E_\theta[X]=\bar x \end{align*}
と置き、この方程式を \(\theta\) について解きます。これが「母平均＝標本平均」という発想です。
パラメータが \(\theta_1,\theta_2\) の2個なら、一般には最初の2つのモーメントを使って、
\begin{align*} E[X]&=m_1'\\ E[X^2]&=m_2' \end{align*}
という2本の方程式を解きます。パラメータが \(k\) 個なら、基本的には \(k\) 本のモーメント方程式を用意します。
平均を合わせたうえで分散を合わせる書き方も、1次・2次の原点まわりのモーメントを合わせる書き方と同値です。
例1：ポアソン分布なら平均を合わせるだけ 🎯
\(X_1,\ldots,X_n\) を、パラメータ \(\lambda\ge0\) のポアソン分布から得た独立同分布の標本とします。ポアソン分布の母平均は、
\begin{align*} E[X]=\lambda \end{align*}
です。これを標本平均 \(\bar x\) と一致させると、
\begin{align*} \lambda&=\bar x\\ \hat\lambda_{\rm MM}&=\bar x \end{align*}
となります。これで終わりです。少し拍子抜けするくらい簡単ですが、これがモーメント法です。
すべての観測値が0なら \(\bar x=0\) なので、推定値も境界の \(\hat\lambda_{\rm MM}=0\) です。
データが \(2,0,1,3,4\) なら、\(\bar x=2\) です。したがって、モーメント法による推定値は \(\hat\lambda_{\rm MM}=2\) です。
例2：正規分布では方程式を2本使う 🧩
\(X\sim N(\mu,\sigma^2)\) とし、\(\mu\) と \(\sigma^2\) の両方が未知だとします。理論上、
\begin{align*} E[X]&=\mu\\ E[X^2]&=\mu^2+\sigma^2 \end{align*}
です。1次・2次の標本モーメントと一致させると、
\begin{align*} \mu&=m_1'=\bar x\\ \mu^2+\sigma^2&=m_2'=\frac{1}{n}\sum_{i=1}^{n}x_i^2 \end{align*}
となります。1本目を2本目へ代入すれば、
\begin{align*} \hat\mu_{\rm MM}&=\bar x\\ \hat\sigma^2_{\rm MM}&=\frac{1}{n}\sum_{i=1}^{n}x_i^2-\bar x^2\\ &=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar x)^2 \end{align*}
を得ます。
ここで分母が \(n-1\) ではなく\(n\)である点に注意してください。モーメント法は「不偏分散を作る」のではなく、理論モーメントと標本モーメントを一致させているからです。
すべての観測値が同じなら \(\hat\sigma^2_{\rm MM}=0\) です。通常の正規分布で \(\sigma^2>0\) と限定する場合は母数空間内に解がなく、0も許せば退化分布に対応する境界の推定値と考えます。
モーメント法の手順
- 未知パラメータの個数を数える
パラメータが1個なら通常1本、2個なら2本の方程式が必要です。 - 理論モーメントを計算する
\(E[X],E[X^2],\ldots\) をパラメータで表します。 - 標本モーメントを計算する
\(m_r'=n^{-1}\sum_i x_i^r\) を使います。 - 両者を等しいと置く
\(E[X^r]=m_r'\) という方程式を作ります。 - パラメータについて解く
解がパラメータ空間に入っているかも確認します。
最尤法との違い・使い分け ⚖️
最尤法は、観測データの尤度を最大にするパラメータを選びます。モーメント法は、平均などの特徴量を一致させます。どちらかが常に上という関係ではありません。
| 比較 | モーメント法 | 最尤法 |
|---|---|---|
| 基本の発想 | 理論モーメントと標本モーメントを合わせる | 観測データの尤度を最大にする |
| 必要な情報 | 必要な次数のモーメント | 確率質量関数・確率密度関数全体 |
| 計算 | 方程式が簡単なことが多い | 微分や数値最適化が必要なことがある |
| 性質 | 簡単だが情報を使い切らない場合がある | モデルと条件が整えば、よい統計的性質を持つことが多い |
| 注意点 | 高次モーメントは外れ値の影響を受けやすい | 分布の仮定がずれると結果も影響を受ける |
モーメント法が向いている場面
- まず簡単な推定値をすぐ作りたい
- 尤度が複雑で、微分や最大化が重い
- 数値最尤法の初期値が欲しい
- 分布全体より特定のモーメントに関心がある
最尤法が向いている場面
- 確率分布を具体的に仮定できる
- 標準誤差・尤度比検定など、尤度を使う推論へ進みたい
- 利用できる分布情報をできるだけ活用したい
- 数値最適化を安定して実行できる
実務では、モーメント法で初期値を作り、その値から最尤法の数値最適化を始めることもあります。2つはライバルというより、組み合わせて使える道具です。
同じ答えになることもある
ベルヌーイ分布では \(E[X]=p\) なので、モーメント法は \(\hat p=\bar x\) を与えます。最尤法でも \(\hat p=\bar x\) です。このように、方法は違っても推定量が一致する場合があります。
逆に、複数パラメータの分布では答えが異なることもあります。大切なのは公式だけ暗記することではなく、何を一致させて推定量を作ったのかを理解することです。
ミニ練習問題 ✅
平均が \(1/\lambda\) の指数分布を考えます。標本平均が \(\bar x=4\) のとき、モーメント法による \(\lambda\) の推定値はいくつでしょうか。
答えを見る
\(E[X]=1/\lambda=\bar x\) と置くので、\(\hat\lambda_{\rm MM}=1/\bar x=1/4\) です。
よくある注意点 ⚠️
- 標本分散の分母を自動的に \(n-1\) にしない：モーメント法では \(n^{-1}\sum_i(x_i-\bar x)^2\) が自然に現れます。
- 解がパラメータ範囲に入るとは限らない：推定値が負になってはいけないモデルなどでは確認が必要です。
- 高次モーメントを安易に使わない：\(x_i^3,x_i^4\) は大きな観測値の影響を強く受けます。
- 方程式に解がない・複数ある場合もある：その場合は別のモーメントや推定方法を検討します。
次は対数正規分布で実践
対数正規分布には \(\mu,\sigma^2\) という2つのパラメータがあります。平均と分散を標本側の値に合わせると、両方の推定量を作れます。
具体的な代数計算は、次の記事「対数正規分布のモーメント法による推定量」で、式を一つずつ解いていきます。
まとめ
モーメント法は、理論上のモーメントと標本モーメントを一致させてパラメータを推定する方法です。「母平均＝標本平均」は、その最初の一歩です。
計算の軽さならモーメント法、分布全体の情報を使った推論なら最尤法が有力です。ただし状況によって適した方法は変わるため、両方の仕組みを知り、目的に合わせて選びましょう。