電子書籍『詳解 ディープラーニング』をマナティで発売中！
（上の書籍画像をクリックすると購入サイトに移動できます）

モデル化

　ニューラルネットワークで論理ゲートを学習する際には、ニューロンの発火の式や誤り訂正学習法の更新式を定式化して、順次計算していきました。論理ゲートでは入力が（たかだか）2 つでしたが、入力がもっとたくさんある場合について考えるとどうなるでしょうか。入力を n 個に拡張して、一般化してみましょう。下図が、モデルの概略図です。

　入力の数が増えても「受け取った電気の量が閾値を超えると発火する」というニューロンの特徴は変わらないので、出力を表す式は

となります。ここで、下式で表される関数 f (x) を考えると、

ネットワークの出力 y は

と書き直すことができます。この f (x) のことをステップ関数（step function）と呼びます。式を和で統一して扱いやすくするために、 b = – 𝜃 とおき、また、重み w_k と入力 w_k (k = 1, 2, ..., n) の線形和の部分はベクトルの内積を用いて表すことができるので、次で表される（列）ベクトル x と w を考えると、

最終的に出力は

という形でまとまります。これで、ネットワークの出力を一般形で書くことができました。ニュー ロンの出力がこの式の形で表されるニューラルネットワークのモデルのことをパーセプトロン（perceptron）と呼び、特に、上図のように入力した値がすぐに出力に伝播する一番単純な形をしたモデルのことを単純パーセプトロン (simple perceptron) と呼びます。また、ここで定義したベクトル w を重みベクトル、b をバイアスと呼びます。

　論理ゲートをモデル化した際には、w₁ 、 w₂ および 𝜃 の値を調整する必要がありましたが、同様 に、一般化したモデル（すなわちパーセプトロン）では重みベクトル w とバイアス b をうまく設定する必要があります。ベクトル表記にすることによって、誤り訂正学習法の更新式も簡潔にまとめることができます。

次回は実装について解説していきましょう。