ハイエンドスマホ向け新型SoC「Snapdragon 8 Elite」にみるAI半導体の進化

Snapdragon 8 Elite搭載のQRDでQwen2.5 14Bをローカル動作させるデモ。かなりの発熱で処理に遅延が生じていたので、フルパワーで動かす際は熱処理が課題の1つになりそうだ