AI推論を本番インフラへ　オープン標準を担う分散推論フレームワーク「llm-d」、CNCFが採択

llm-dと標準KubernetesサービスのQPS（クエリ毎秒）に対するTTFTとスループット比較（提供：CNCF）