AI推理成本攀升，红帽联合众多科技企业启动开源项目llm-d

　　Gartner预测，到2028年，超过80%的数据中心工作负载加速器将专门用于AI推理。

　　随着推理模型日益复杂且规模不断扩大，对于资源的需求也在不断攀升，这限制了集中式推理的可行性，会导致AI创新的成本过高和延迟过长。

　　为应对这一挑战，业界在构建大规模LLM服务方面展开了合作。

　　近日，开源解决方案提供商红帽公司宣布启动开源项目llm-d，希望利用大规模生成式AI推理技术，提升大语言模型（LLM）推理云的性能，以满足更高的生产服务级目标（SLO）。

　　该统一平台使IT团队能够满足关键业务工作负载的各种服务需求，同时部署创新技术以提高效率，并降低与高性能AI加速器相关的总体拥有成本（TCO）。

　　目前，llm-d已获得了生成式AI模型提供商、AI加速器先驱和主要AI云平台的支持。CoreWeave、Google Cloud、IBM Research和NVIDIA是该项目的创始贡献者，AMD、思科、Hugging Face、英特尔、Lambda和Mistral AI等公司是该项目的合作伙伴。

　　Google Cloud AI与计算基础设施副总裁兼总经理Mark Lohmeyer表示：在企业大规模部署AI并为用户创造价值的过程中，高效的AI推理至关重要。Google Cloud很荣幸能够作为llm-d项目的创始贡献者，在我们的开源贡献传统的基础上再接再厉。”

　　NVIDIA工程AI框架副总裁Ujval Kapasi表示：“llm-d项目是对开源AI生态系统的重要补充，体现了NVIDIA对合作推动生成式AI创新的支持。可扩展、高性能的推理是下一波生成式AI和代理式AI的关键。我们正在与红帽和其他支持合作伙伴合作，促进llm-d社区的参与和行业采用，利用NVIDIA Dynamo等创新帮助加速llm-d的发展。”