バイアスとバリアンス（偏りと分散）のトレードオフ（Bias-Variance Tradeoff）とは？

図2　バイアスとバリアンスのトレードオフ横軸の左端は、モデルのパラメータをできるだけなくして訓練データにはほとんど適合していない（＝バイアスが大きくバリアンスが小さい）ような単純すぎるモデル（例えば非常にシンプルな水平線など）であることを意味する。また、その右端は、パラメータをできるだけ多く持ち訓練データに完全に適合する（＝バリアンスが大きくバイアスが小さい）ような複雑すぎるモデル（例えば非常に高次の多項回帰式など）であることを意味する。※前述の通り、汎化誤差はバイアス＋バリアンスだけでなくノイズも付加される点に注意。最適解を得るには、その汎化誤差を最小化する必要がある。