この記事では、擬似逆行列によるハット行列の定義は適切に直交射影であることを解説します。
最初に擬似逆行列の定義を確認しておきます。
通常の逆行列との違いや、逆行列が存在する条件を先に確認したい場合は、逆行列とは？求め方・存在条件・2×2／3×3の計算をわかりやすく解説をご覧ください。
\(A\)を\(n\times m\)(複素)行列とする。\(m\times n\)(複素)行列\(A^+\)で
\begin{align*}A A^+ A &= A \\ A^+ A A^+ &= A^+ \\ \left(A A^+ \right)^\dagger &= A A^+ \\ \left(A^+ A \right)^\dagger &= A^+ A\end{align*}
を満たすものを、\(A\)の擬似逆行列という。ただし\({A}^\dagger\)は\(A\)の共役転置です(つまり、転置して複素数は共役な複素数に置き換えたもの)。
Moore-Penrose逆行列や一般化逆行列ともいいます。
実数の場合には共役転置は単なる転置です。
線形回帰モデル
\begin{align*} y = X \beta + \varepsilon \end{align*}
において、
\begin{align*} H = X(X^t X)^{-1}X^t \end{align*}
をハット行列といいます。
しかし、\(X\)が退化している場合(つまり、フルランクでない場合)は
\begin{align*} X^t X \end{align*}
が正則でないため、逆行列
\begin{align*} (X^t X)^{-1} \end{align*}
が存在しません。
そこで、これを擬似逆行列に置き換えたとしても、ハット行列に要請する性質をもつのかを確認しましょう。
つまり、\(\text{im}X\)への直交射影であるかを確認しましょう。
\(X\)を\(n\times m\)行列とする。
\begin{align*} H = X(X^t X)^{+} X^t\end{align*}
により定義される行列は、\(\text{im}(X)\)への直交射影である。
✍️ 任意の\(v \in \mathbb R^n\)に対して\(Hv \in \text{im} X\)であることは明らかです。
\begin{align*} H^2 = H, \quad H^t = H \end{align*}
を確認しましょう。
\begin{align*}H^2 = X(X^t X)^{+} X^t X(X^t X)^{+} X^t = X (X^t X)^{+} X^t = H \end{align*}
なので確かに冪等性を満たします。ただし、擬似逆行列の定義の第2式\((X^tX)^{+} (X^t X) (X^tX)^{+} = (X^tX)^{+}\)を用いました。また、対称行列\(X^t X\)の擬似逆行列\((X^t X)^{+}\)はそれ自身も対称であることから、
\begin{align*} H^t = \left(X(X^t X)^{+} X^t \right)^t = X\left((X^t X)^{+}\right)^t X^t = X(X^t X)^{+} X^t = H \end{align*}
となり、対称性も満たすことが確認できました✅