もう少し知っておきたいAIの“明言”と“経験則”、5選

図6 スケーリング則のイメージ計算量、データセットの量、モデルのサイズ(パラメーター数)が増えると、テストデータでの損失(誤差)が減っていく様子が示されています。横軸が「指数表示(対数スケール)」になっている点に注目してください。このような対数スケールのグラフで直線的に減少しているということは、「べき乗則」に従って減少していることを意味します。引用論文“Scaling Laws for Neural Language Models”(Jared Kaplan, et al. @ OpenAI, arXiv, 2020.)