多項式カーネルの性質・半正定値性や一次独立性の証明をわかりやすく解説

目次

多項式カーネルが半正定値であることの証明

\(\mathbb R \times \mathbb R\) 上の関数を

\begin{align*} k(x, y)= 1 + x y + x^2 y^2 + \dots + x^d y^d \end{align*}

により定めます。多項式によって定まるカーネルの一種です。この関数が二つの変数に関して対称であることは明らかでしょう。

半正定値性の定義

対称な実数値関数は、任意の\(\lambda : \mathbb R \rightarrow \mathbb R\) で

\begin{align*} \# \{x \in \mathbb R \mid \lambda (x) \neq 0 \} < + \infty \end{align*}

であるものに対して、

\begin{align*} \sum_{(x, y) \in \mathbb R \times \mathbb R} \lambda(x) \lambda (y) k (x, y) \geq 0 \end{align*}

であるときに、半正定値であるといいます。\(\lambda\) は条件から\(0\)でないところが有限個しかないことから総和は有限和となります。

半正定値性の証明

実際、任意に\(\lambda : \mathbb R \rightarrow \mathbb R \) で

\begin{align*} \# \{x \in \mathbb R \mid \lambda (x) \neq 0 \} < + \infty \end{align*}

であるものをとります。

\begin{align*}\sum_{(x, y) \in \mathbb R \times \mathbb R } \lambda(x) \lambda (y) k(x,y) &= \sum_{(x, y) \in \mathbb R \times \mathbb R } \lambda(x) \lambda (y) \left( 1 + x y + x^2 y^2 + \dots + x^d y^d \right)
\\&= \left( \sum_{x \in \mathbb R} \lambda(x)(1 + x + x^2 + \dots x^d)\right)^2
\\& \geq 0 \end{align*}

一次独立性

\(y_1, \dots , y_{d +1} \in \mathbb R\) を異なる\(d + 1 \)個の点とすると、

\begin{align*} k(\cdot\, , y_1), k(\cdot \, , y_2), \dots, k(\cdot \, , y_{d + 1}) \end{align*}

は一次独立です。なぜなら、

\begin{align*} \partial_x^m k(x, y) = m! y^m + \dots + d (d -1) \cdots (d – m) x^{d-m}y^d \end{align*}

であることから、

\begin{align*} \partial_x^m k(0, y) = m! y^m \end{align*}

であるので、\(0\)におけるロンスキー行列は

\begin{align*} W(0) = \begin{pmatrix}
1 & 1 & \dots & 1 \\
y_1 & y_2 & \cdots &y_{d+1} \\
2y_1^2 & 2y_2^2 & \cdots &2y_{d+1}^2 \\
\vdots & \vdots & \cdots & \vdots \\
d!y_1^d & d! y_2^d & \cdots & d! y_{d+1}^d \\\end{pmatrix} \end{align*}

となります。\(y_1, \dots , y_{d +1} \in \mathbb R\) が全て異なることから、この行列の列ベクトルは一次独立です。従って、ロンスキー行列は\(0\) において正則です。このことは即ち、\(k(\cdot\, , y_1), k(\cdot \, , y_2), \dots, k(\cdot \, , y_{d + 1})\) が一次独立であることを意味しています。

記事をシェアして話のネタにする

コメント

コメントする

目次