線形回帰モデルの残差の分散共分散行列と単一データの残差の分散を導出する方法をわかりやすく解説

この記事では線形回帰モデルの残差の分散共分散行列を導出・証明する方法をわかりやすく解説します。

\begin{align*} y = X \beta + \varepsilon, \quad \varepsilon \sim N(0, \sigma^2 I)\end{align*}
という線形回帰モデルを考えます。OLS推定量\(\hat \beta\)による予測値を
\begin{align*} \hat y = X \hat \beta \end{align*}
と表記することにします。残差\(e\)を
\begin{align*} e = y – \hat y\end{align*}
で定義します。

✍️ ハット行列\(H\)を用いると、
\begin{align*} \hat y = H y\end{align*}
と書けるので、
\begin{align*} e = y – \hat y = (I – H)y \end{align*}
となります。
\(e\)の分散共分散行列を\(V(e)\)で表記することにすると、
\begin{align*} V(e) &= V((I – H)y) \\&= E\left( \left( (I-H)(y-E(y)) \right) \left( (I-H)(y-E(y)) \right)^t \right) \\&= E\left( \left( (I-H)\varepsilon \right) \left( (I-H)\varepsilon \right) ^t \right) \\&= E\left((I-H)\varepsilon \varepsilon ^t (I-H)^t \right)
\\&= (I-H) E(\varepsilon \varepsilon ^t) (I-H)^t
\\&=(I-H) \sigma^2 I (I-H)^t
\\&= \sigma^2 (I-H)(I-H)^t
\\&= \sigma^2 (I-H)(I-H)
\\&= \sigma^2 (I-H)\end{align*}
となります。最後の2つの等号では、\(I-H\)が対称な冪等行列であることを用いました。

第\(i\)成分を\(e_i\)と書くことにします。
\(e_i\)の分散は、分散共分散行列\(\sigma^2 (I-H)\)の第\(i\)対角成分です。
つまり、

となります。ただし\(h_{ii}\)はハット行列\(H\)の第\(i\)対角成分です。

🎉 これでシリーズは完結です。残差の分散共分散行列\(\sigma^2(I-H)\)と、ハット行列のトレースが\(p\)であること(第4回)を合わせると、残差平方和の期待値は
\begin{align*} E(e^t e) = \text{tr}\, V(e) = \sigma^2 \text{tr}(I – H) = \sigma^2 (n – p) \end{align*}
となり、不偏分散推定量\(\hat \sigma^2 = e^t e / (n-p)\)の分母\(n-p\)の正体が見えてきます。さらに\(I-H\)はランク\(n-p\)の対称冪等行列なので、第7回の結果から\(e^t e / \sigma^2\)は自由度\(n-p\)のカイ二乗分布に従います。これが、このシリーズのタイトル「なぜ回帰分析の残差はカイ二乗分布に従うのか？」への答えです。