読者です 読者をやめる 読者になる 読者になる

ごちきか - ご注文は機械学習ですか?

2次元から3次元への埋め込みをしていくブログ。

「進化計算と深層学習」まとめノート 2

第2章 ニューラルネット

学習の定義

ある状況における繰り返された経験によるその状況に対する動作の変化のこと(Hilgard 1975)

 

過学習を防いでうまく学習するには

データセットを3つに分ける

  • 学習用の訓練データ
  • 学習の終了判断を行うための評価用のデータセット訓練データの一部から取ってくる
  • 最終的なテストを行うテストデータ

ニューロンのモデル化

人間の脳には140億個のニューロンがあり、それぞれ8000個程度シナプスを介して他のニューロンとつながっている。

 

McCulloch-Pitts モデルでは、ニューロンが発火するか否かを、

y = σ ( <w,x> + b )

で表す。ここで、wシナプスの結合強度を表す重みベクトル、x は各細胞の値。σ は入力が0以上なら1を、それ以外は0を返す関数。b は発火しやすさを表すバイアス。ただし< x, y > は xy内積を表している

 

アイディアの出所

 

猫の視覚野の実験(Hubel & Marr)を受けて Rosenblatt が提案(1950年代)

裏付け

小脳はパーセプトロンだと確認される(伊藤正男 / 1980年代)

 

パーセプトロンの学習則(Hebb / 1949)

神経細胞が興奮した時、その細胞に信号を入力した細胞からの重みを強化する

 

パーセプトロン研究の勃興と衰退

定理 パーセプトロンの収束定理(Minsky / 1969)

学習データがスカラー値2パターンで線形分離可能ならば、分離平面を見つける学習は有限時間内に収束する。

 

定理 ミンスキーの悪魔Minsky / 1969)

パーセプトロンが分離可能なトポロジー的特徴は、オイラー数が異なるものに限られる。

 

例えば、ドーナツ状の平面図形を2つにコピーしたものと1つだけのものとでは、オイラー数は普遍なのでパーセプトロンは区別することができない。

これによりパーセプトロン研究は冬の時代を迎え、再び火がつくのは多層パーセプトロン研究からである。

 

出典:

1. 進化計算と深層学習 -創発する知能― 

2. ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

 

 

続く