決定境界

2クラス分類問題における決定境界（けっていきょうかい、英語: decision boundary、decision surface）は、基底となるベクトル空間上で各クラスごとに2つの集合に分割する超曲面である。分類器は決定境界を得ることで決定境界の片側にあるすべての点を一方のクラスに、もう片側にあるすべての点をもう一方のクラスへと分類を行う。

決定境界は分類器の出力ラベル（出力値）が明らかでない問題空間の領域上に定義される。

決定境界が超平面であるとき、分類問題は線形な境界となる。このとき各クラスは線形な超平面によって分離可能であり、線形分離可能な状態であるといえる。

決定境界は必ずしも明確に決まるとは限らない。つまり特徴空間におけるあるクラスから別のクラスへの変位が不連続ではなく、ゆるやかに変化しているためである。この作用はファジィ理論に基づく分類アルゴリズムでよくみられるもので、未知の入力に対してどのクラスへ属するかが不明瞭なことがある。

ニューラルネットワークとサポートベクターモデルにおける決定境界

ニューラルネットワークやパーセプトロンにおけるバックプロパゲーションの場合、ネットワークで学習できる決定境界の種類はネットワークの持つ隠れ層の値によって決まる。 ニューラルネットワークにおいて隠れ層を持たないとき、決定境界は線形問題に対してのみ学習を行うことができる。ニューラルネットワークにおいて隠れ層が1層であるとき、決定境界は普遍性定理によって、Rⁿ 上でコンパクトで連続な超平面について学習を行うことができる。したがって、ニューラルネットワークでは任意の決定境界を求めることが可能である。

特に、サポートベクターマシンでは特徴空間で2つのクラスに分離する超平面をマージンが最大化されるように求める。線形分離可能な問題でない場合、カーネル法を用いて次元数を増やすことで、線形分離可能な問題として解くことができる。したがって、サポートベクターマシンでは一般的に決定境界が低次元空間上で超曲面となる場合は、高次元の空間上で超平面として分類を行う。

サポートベクターマシンで決定境界と各点ごとのマージンが最大となるように決定境界を学習し、ニューラルネットワークでは誤差が最小化されるように決定境界が学習がなされる。

参考文献

• 間下以大「機械学習は線を引くアルゴリズム」『映像情報メディア学会誌』第72巻第5号、映像情報メディア学会、2018年、412-417頁、doi:10.3169/itej.72.412、ISSN 13426907、NAID 130007838732。