誤差逆伝播法（バックプロパゲーション）は、ランダムに定めた重みの初期値を用いてネットワークの順方向（入力側から出力側への方向）に計算を行い、その出力値と正解ラベルの誤差（コスト）をベースにネットワークの逆方向（出力側から入力側への方向）に重みを修正しながら、遡っていく方法である。

この一連のプロセスは、「実行時に定められた回数実行されるまで」や「求める水準よりも誤差が低くなる、つまりそれだけ性能が高くなるまで」繰り返し実行される。

⑤中間層を追加する構造について

中間層を追加する理由は、直線ではない（＝線形ではない）決定境界によって、分類できるようにするためである。

中間層の無い単層パーセプトロンでは、非線形の分類を行うことができない。

中間層を追加することで、複雑な分類ができるようになる。逆にパラメータ数が増えるため、計算量も大きくなる。