iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発　知識蒸留の新手法「TAID」採用

従来の知識蒸留手法では、教師モデルと生徒モデルの能力差が大きいと学習がうまく進まなかった