深層学習AIをエッジで動かす、東芝と理研がスパース化現象でパラメータ8割削減

(左)手書き数字画像10クラスの「MNIST」という画像データセットにおいて、4層の全結合ネットワークを用いた実験の結果。コンパクト化なしのネットワークから認識精度0.02%の低下で、パラメータ数を83.7%削減可能であることを確認した。(右)一般物体認識のベンチマークとしてよく使われている「CIFAR-10」という画像データセットにおいて、16層の畳み込みニューラルネットワークを用いた実験の結果。認識精度の低下が約1%以内の範囲では、正則化強度を変更することでネットワークのパラメータ数を30〜70%程度削減でき、DNNのサイズを柔軟に変更できることを確認した(クリックで拡大) 出典:東芝

(左)手書き数字画像10クラスの「MNIST」という画像データセットにおいて、4層の全結合ネットワークを用いた実験の結果。コンパクト化なしのネットワークから認識精度0.02%の低下で、パラメータ数を83.7%削減可能であることを確認した。(右)一般物体認識のベンチマークとしてよく使われている「CIFAR-10」という画像データセットにおいて、16層の畳み込みニューラルネットワークを用いた実験の結果。認識精度の低下が約1%以内の範囲では、正則化強度を変更することでネットワークのパラメータ数を30〜70%程度削減でき、DNNのサイズを柔軟に変更できることを確認した(クリックで拡大) 出典:東芝