NVIDIA製GPUの数十倍速い？　次々に出てくる「AI専用チップ」とは何者か　識者に聞く高速化の仕組み

Sohuは、Llama70Bのスループットで毎秒50万トークンを超え、現在の主流GPUであるH100に比べて20倍の速さ、NVIDIAの次世代GPUであるBlackwell（B200）に比べても桁違いに高速で安価になることを狙っている