AI推論を本番インフラへ　オープン標準を担う分散推論フレームワーク「llm-d」、CNCFが採択

llm-dの推論トラフィック管理アーキテクチャ（提供：CNCF）

＠IT