機械学習と黒魔術

2次元から3次元への埋め込みをしていくブログ。

確率的勾配微分法とは

前提

ニューラルネットの重みとバイアスを訓練データを予測できるよう調整したい(学習の定義)

 

Step 1

訓練データの中から、一定数を無作為抽出する。得られたデータをミニバッチといい、ミニバッチの損失関数の値を最小化したい

Step 2

勾配を求めることで、得られた関数を最も大きく減らす方向を求める

Step 3

重みパラメータを、 Step 2 の方向に少しずらす

Step 4

Step 1-3 を繰り返す

 

なぜ確率的(Stochastic)とよぶか

Step 1 のように、データを確率的に選び出すから。