GoogleがKubernetesクラスタでの生成AI推論の最適化機能を発表　6710億パラメーターモデルのマルチホスト推論を可能にする仕組みとは

新機能の仕組み（提供：Google）

＠IT