線形分離可能と不可能

線形分離とは何か、論理演算を例に挙げて考えてみましょう。
例えば論理和のとき、入力と出力の関係は以下のようになります。

入力1入力2出力
000
010
100
111

次にグラフ(散布図)を書いてみます。横軸が入力1、縦軸が入力2です。4点がとれるかと思います。出力を白丸(0)と黒丸(1)に色分けすると、白と黒を直線で分離するにはどうすればよいでしょうか?例えば図の青い線のように引けばいいですね。

これをパーセプトロンで再現してみます。パーセプトロンは$$y = \left\{ \begin{array}{ll} 1 & (w_1 x_1 + w_2 x_2 > \theta) \\ 0 & (w_1 x_1 + w_2 x_2 \leq \theta) \end{array} \right.$$という数式で表すことができました。このとき、\(w_1 = 0.5,\) \(w_1 = 0.5,\) \(\theta = 0.8\)とすれば、\(x_1 = x_2 = 1\)のときのみ\(w_1 x_1 + w_2 x_2 > \theta \)を満たすので再現できそうです。(あくまで一例です。)

では次に排他的論理和を考えてみましょう。排他的論理和では2つの入力が異なる場合に出力が1となります。

入力1入力2出力
000
011
101
110

論理和のときと同様に散布図を描いてみます。白丸と黒丸を分離するにはどのように直線を引けばよいでしょうか?できませんね。これが線形分離不可能ということです。

パーセプトロンの数式で考えるならば、\(w_1\)と\(w_2\)と\(\theta\)にどのような値を設定しても排他的論理和を再現できないということです。(計算してみてください)

パーセプトロンでは本当に線形分離不可能なことを再現できないのでしょうか?実はできます。パーセプトロンには重要な事実があるためです。それは次回でお話しします。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

コメント

お名前 *

ウェブサイトURL