NVIDIAが語るVoltaとTuring、最新GPUはこう使おう

Tensorコア計算の誤差をFP32とFP16で比較(クリックで拡大) 出典:NVIDIA行列サイズが大きくなるにつれ、加算による誤差が蓄積する。Tensorコアはどの行列サイズにおいても、FP16よりもFP32からの相対誤差が減少している

 Tensorコア計算の誤差をFP32とFP16で比較(クリックで拡大) 出典:NVIDIA行列サイズが大きくなるにつれ、加算による誤差が蓄積する。Tensorコアはどの行列サイズにおいても、FP16よりもFP32からの相対誤差が減少している