再生核ヒルベルト空間のデルタ関数による特徴づけ

2023年6月15日2023年7月20日

再生核ヒルベルト空間（Reproducing Kernel Hilbert Space、RKHS）は、数学や統計学、機械学習、特にサポートベクターマシンやカーネル法などの分野で広く活用されています。この空間は、特定の性質を持つ核を備えたヒルベルト空間であるという意味で、特別です。

再生核ヒルベルト空間の特徴付けについて説明します。

再生核ヒルベルト空間のデルタ関数による特徴づけ

まずは再生核ヒルベルト空間を定義しましょう。一番覚えやすい定義を採用することにします。

定義

$X$ を空でない集合とします。ヒルベルト空間$\mathcal H \subset \{f \mid X\textrm{上の実数値関数} \}$は、
任意の$x \in X$ に対して、 $\delta _x $ が$\mathcal H$ 上の有界線型作用素となるとき, $\mathcal X$ 上の再生核ヒルベルト空間(RKHS)といいます。

ここで、$\delta_x$ は$\delta_x f = f(x)$ で定義される線型写像です。

ヒルベルト空間$\mathcal H$ の内積を$\langle \cdot, \cdot \rangle$ でかき、その内積が定めるノルムを$|| \cdot ||_{\mathcal H}$ で書くことにします。

次の基本的な事実が成り立つことを確認しておきましょう。

命題

$\mathcal H$ を集合$\mathcal X$ 上のRKHSとする。 $f_n \in \mathcal H$ がこのRKHSのノルムに関して$f \in \mathcal H$ に収束するならば, 各点収束する。

実際、

\begin{align*}| f_n (x) – f (x) | = |\delta_x f_n – \delta_x f| \leq ||\delta_x || || f_n – f||_{\mathcal H} \end{align*}

であるのでこれが成り立ちます。

ヒルベルト空間の再生核とは

ここでも、ヒルベルト空間 $\mathcal{H}$ を $X$ 上の実数値関数の集合とします。

$k: X \times X \rightarrow \mathbb{R}$ で以下の(1)(2)の条件を満たすものを、$\mathcal{H}$ の再生核といいます。

再生核

(1) 任意の $x \in X$ に対して、 $k(\cdot, x) \in \mathcal{H}$。

(2) 任意の $x \in X$、 $f \in \mathcal{H}$ に対して、 $\langle f, k(\cdot, x) \rangle_{\mathcal{H}} = f(x)$。

再生核が存在するとき、$\mathcal{H}$ は再生核を持つといいます。

再生核ヒルベルト空間の再生核による特徴づけ

ヒルベルト空間が再生核ヒルベルト空間であることと、再生核をもつことは同値です。

つまり以下の命題が成り立ちます。

命題

$\mathcal{H}$ を集合 $X$ 上の実数値関数からなるヒルベルト空間とする。このとき次は同値である。

(1) $\mathcal{H}$ が RKHS である。

(2) $\mathcal{H}$ が再生核を持つ。

$(\Rightarrow)$。任意に$x \in \mathcal H$ をとります。$\delta_x$ は有界線型作用素なので、Rieszの表現定理により$\varphi_{\delta_x} \in \mathcal{H}$ で

\begin{align*} \langle \varphi_{\delta_x} , f \rangle \quad (\forall f \in \mathcal H) \end{align*}

を満たすものが存在します。そこで、$k$を

\begin{align*} k(y, x) = \varphi_{\delta_x}(y) \quad (\forall y \in X) \end{align*}

と定めると、任意の$f \in \mathcal H$ に対して、

\begin{align*}\langle f, k(\cdot, x) \rangle = \langle f, \varphi_{\delta_x} \rangle = \delta_x f = f(x) \end{align*}

が成り立ちます。というわけで$k$ という再生核が存在することが示されました。

$(\Leftarrow)$。 $k$ を再生核とする。任意の $x \in X$ に対して、

\begin{align*}\| \delta_x f \| = \langle f, k(\cdot, x) \rangle \leq \langle k(\cdot, x), k(\cdot, x) \rangle^{\frac{1}{2}} \| f \| = k(x, x)^{\frac{1}{2}} \| f \| \end{align*}

が成り立つので、$\delta_x$ は有界であることがわかります。つまり、$\mathcal H$ はRKHSであることが示されました。