図とコードで必ず分かるニューラルネットワークの逆伝播

図6　逆伝播では各ノードへの入力／各重み／各バイアスの勾配を計算する※入力の勾配だけ、重みやバイアスの勾配とは計算方法が少し異なる。具体的には、入力（例えばx1）には、多数のエッジ（線）がつながっているので（例えば次の層に3つのノードがあれば3本の線）、その全てのエッジ（例：3本）における入力の偏微分係数を合計する必要がある（後掲の図9でも説明）。