「進化計算と深層学習」まとめノート 2
第２章 ニューラルネット
学習の定義
ある状況における繰り返された経験によるその状況に対する動作の変化のこと（Hilgard 1975）
過学習を防いでうまく学習するには
データセットを３つに分ける
- 学習用の訓練データ
- 学習の終了判断を行うための評価用のデータセット（訓練データの一部から取ってくる）
- 最終的なテストを行うテストデータ
ニューロンのモデル化
人間の脳には１４０億個のニューロンがあり、それぞれ８０００個程度シナプスを介して他のニューロンとつながっている。
McCulloch-Pitts モデルでは、ニューロンが発火するか否かを、
y = σ ( <w,x> + b )
で表す。ここで、w はシナプスの結合強度を表す重みベクトル、x は各細胞の値。σ は入力が０以上なら１を、それ以外は０を返す関数。b は発火しやすさを表すバイアス。ただし< x, y > は x と y の内積を表している
アイディアの出所
猫の視覚野の実験（Hubel & Marr）を受けて Rosenblatt が提案（1950年代）
裏付け
小脳はパーセプトロンだと確認される（伊藤正男 / 1980年代）
パーセプトロンの学習則（Hebb / 1949）
神経細胞が興奮した時、その細胞に信号を入力した細胞からの重みを強化する
パーセプトロン研究の勃興と衰退
定理 パーセプトロンの収束定理（Minsky / 1969）
学習データがスカラー値２パターンで線形分離可能ならば、分離平面を見つける学習は有限時間内に収束する。
定理 ミンスキーの悪魔（Minsky / 1969）
パーセプトロンが分離可能なトポロジー的特徴は、オイラー数が異なるものに限られる。
例えば、ドーナツ状の平面図形を２つにコピーしたものと１つだけのものとでは、オイラー数は普遍なのでパーセプトロンは区別することができない。
これによりパーセプトロン研究は冬の時代を迎え、再び火がつくのは多層パーセプトロン研究からである。
出典：
2. ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
続く
