普通のニューラルネットの各層を全結合層とよぶ（全てのノードは次の層のノードにつながっている） なぜ全結合では不満があるか 全結合層では、２次元的・３次元的構造を保持しない。これは１次元ベクトルとして入力する仕様のため。これでは２次元的構造（…

第２章 ニューラルネット ー 多層パーセプトロン ー 多層パーセプトロンは、パーセプトロンの収束定理では得られなかった学習、例えば線形分離不可能なXOR関数の学習を行える。 問題設定 入力ベクトル x を第１層めとして、第 n 層における脳細胞に対応する…

前提 ニューラルネットの重みとバイアスを訓練データを予測できるよう調整したい（学習の定義） Step 1 訓練データの中から、一定数を無作為抽出する。得られたデータをミニバッチといい、ミニバッチの損失関数の値を最小化したい Step 2 勾配を求めることで…