前提
ニューラルネットの重みとバイアスを訓練データを予測できるよう調整したい(学習の定義)
Step 1
訓練データの中から、一定数を無作為抽出する。得られたデータをミニバッチといい、ミニバッチの損失関数の値を最小化したい
Step 2
勾配を求めることで、得られた関数を最も大きく減らす方向を求める
Step 3
重みパラメータを、 Step 2 の方向に少しずらす
Step 4
Step 1-3 を繰り返す
なぜ確率的(Stochastic)とよぶか
Step 1 のように、データを確率的に選び出すから。