［AI・機械学習の数学］合成関数の微分（連鎖律）とニューラルネットワーク初歩の初歩

図10　ニューラルネットワークと損失関数の例XORを求めるニューラルネットワークと構造は同じだが、重みなどを文字で表してある（変数名も少し変えてある）。変数名の右肩の(1)(2)(3)は何層目であるかを表すために付けてある。ここでは、ノードを表す円の中に書かれた変数名はそのノードからの出力を表すものとする。例えば、中央の上のノードのx(2)1は第2層の1番目のノードからの出力を表す。バイアスの添え字については、何番目のノードへの入力にかかるバイアスであるかを表す。例えば、中央下のb(2)1は、第1層の2番目のノードにかかるバイアスを表す。重みの添え字は何番目の変数から何番目の変数に送られるときの重みであるかを表す。例えば、w(2)21であれば、2番目の変数から1番目の変数に送られるときの重みであることを表す。