· llm-d 1.0 整合了经过加固的分布式推理核心,并针对 Day 2 生产部署完成验证,帮助组织提升 AI 服务效率、扩展企业工作负载。
· llm-d 已获得前沿模型实验室、超大规模云服务商和新云服务商、硬件加速器厂商以及大型企业的广泛采用与信任。近期演示显示,针对上下文密集的智能体工作负载,成本最高可降低 5 至 10 倍¹,输出吞吐量提升至 3 倍²。
中国北京 – 2026年11月17日 – 近日,llm-d 项目贡献者宣布发布 llm-d 1.0。这是该开源项目的重要里程碑。该项目旨在帮助组织在现代基础设施上更高效地部署和扩展大语言模型推理。llm-d 于 2025 年由红帽、IBM、Google Cloud、CoreWeave 和 NVIDIA 共同创立,现由云原生计算基金会(CNCF)治理,对于在生产环境中大规模部署 AI 的企业,llm-d对其开放基础设施发挥着关键作用。
随着各组织竞相将 AI 投入生产,许多组织发现,大规模运行 AI 可能与构建模型一样困难且昂贵。组织需要一种方式,既能为用户提供迅速响应的体验,又能支持智能体工作负载,并最大化利用日益稀缺的计算资源。llm-d 1.0 通过智能分布式推理能力来应对这些挑战,助力提升性能、增加吞吐量,并帮助组织更好地掌控 AI 服务的经济性。
让创新真正落地生产环境
随着智能体 AI 的兴起,新型工作负载正对基础设施系统施加不同于以往的压力。智能体工作负载在支持并行智能体时,可能产生不可预测的突发活动,这期间智能体会持续访问和复用大量上下文。管理这些上下文所消耗的资源往往超过生成最终输出本身,因此,时延、吞吐量、内存效率和基础设施成本成为实现 AI 投资回报的关键因素。llm-d 已为复杂基础设施环境,提供开箱即用的硬件异构支持和先进推理能力,以及前缀缓存和负载感知路由、KV缓存卸载、预填充/解码分离、宽专家并行和批处理与异步推理等功能,支持包括 vLLM 和 SGLang在内的多个模型服务器。
llm-d 1.0 旨在将这些性能带入 Day 2 运维的实际场景,以及在生产中持续运行推理的日常工作,包括服务多个租户、平衡相互竞争的优先级、提供零停机特性并支持新兴智能体的工作负载,所有这些能力都集成在一套协同设计的组件中,这些组件可共同组成一个平台。1.0 中的新能力包括:
· 多租户服务质量——兼顾优先级与公平性的流量控制,保障对时延敏感的请求与突发型智能体工作负载可以共享算力集群,互不抢占资源。
· 零停机运维——路由器高可用,支持热备和滚动更新,确保升级和计划维护期间流量能持续运行。将预填充/解码副本作为一个逻辑单元进行管理,支持协调推出和同步升级,使分离式服务能够切实应用于生产环境。
· 稳定可靠的基础——v1 配置 API 和经过加固的请求路径,已在多种云和加速器上完成验证,为采用者提供了一个可用于标准化部署的版本。
· 面向智能体的服务——会话感知路由让多轮对话接近其缓存的上下文,而轮次优先级调度和原生 Responses API 状态支持,帮助智能体跨轮次复用上下文并减少重复计算。
其结果是,基础设施能够支持多样化的 AI 工作负载,从时延敏感的用户交互到大规模的自主智能体工作流,组织无需在响应性和效率之间做出取舍。
生态系统势头持续增长
llm-d 已在不断扩大的模型开发者、云服务提供商、基础设施供应商和企业用户生态系统中得到使用。目前,该项目拥有来自 25 个以上组织的 500 余名贡献者,共同协作推动分布式 AI 服务的未来,并助力在 AI 基础设施堆栈中构建通用基础。
核心用户包括运行大规模分布式推理的组织、优化推理堆栈的前沿模型开发者,以及提供多租户 AI 端点的云服务提供商。这些用户均已从部署 llm-d 中获得了可衡量的收益。
在近期的一个应用案例中,开放前沿模型和 llm-d 使 IBM Research 能够以比全专有配置低 11.5 倍的推理成本探索量子纠错硬件3。研究人员报告称,前缀缓存命中率约为 98%,混合服务成本约为每百万token 0.11 美元。
在另一项近期使用基准工作负载的演示中,研究人员展示了 llm-d 能够高效地针对智能体工作负载,为大型混合专家(MoE)模型提供服务。研究人员使用 llm-d,在广泛部署的 NVIDIA GPU 上部署了GLM 5.2,一个约有7530亿参数的开放权重模型,展示了企业如何利用现有GPU集群大规模服务前沿 AI。在数百个智能体会话并行运行的工作负载中,该部署在智能体基准测试中峰值输出超过每分钟 660 万个token,可为多达 3000 个并发编程智能体提供服务,且不发生抢占。按当前云租赁费率计算,该部署的每 token 成本比同等商业 API 定价低 5 至 10 倍,其中节省幅度最大的,是智能体工作负载中常见的输入密集型流量模式,这凸显了 llm-d 如何为在生产环境中大规模部署 AI 的企业节省资源和成本4。
借助CNCF治理模式和广泛的行业参与,llm-d致力于加速创新,同时为组织管理日益复杂的 AI 基础设施提供开放式替代方案。展望未来,社区将继续适配不断涌现的新硬件和新模型,持续演进软件堆栈以在新架构上实现最佳性能。欲了解更多信息,请阅读 IBM 和红帽发布的博客。
支持证言
CNCF 首席技术官Chris Aniszczyk
“AI 推理正迅速成为核心的云原生工作负载。llm-d 1.0 通过将开源推理能力与规模化生产环境中的关键需求相结合,帮助组织大规模应对这一转变,进而满足智能体工作负载的需求。这是推动高性能开源推理在运维上更加成熟、并在云原生生态系统中更易获取所迈出的重要一步。”
红帽高级副总裁兼 AI 首席技术官Brian Stevens
“随着各组织从 AI 试验阶段迈向全面生产部署,瓶颈已从生成答案转向管理复杂智能体工作负载的经济性、运维可靠性以及极端的基础设施需求。开源协作对于大规模解决这些 Day 2 运维挑战至关重要。借助 llm-d 1.0,社区正在交付一个标准化、经过加固的分布式推理核心,赋能企业优化硬件性能、应对运维成本,并在开放基础上构建高密度 AI 架构。”
IBM Research AI 原生系统副总裁Priya Nagpurkar
“在IBM,我们亲眼见证到,企业 AI面临的挑战已不再只是构建强大的模型,而是大规模高效、可靠地运行它们。llm-d 1.0 是构建分布式推理开放基础的一个重要里程碑,可帮助组织从其 AI 基础设施中获得更多价值,并更好地掌控其所依赖的 AI 能力。随着智能体工作负载日益普及,llm-d 这样的开放技术对于提升性能、降低成本以及加速整个 AI 生态系统的创新将至关重要。”
Google Cloud AI与计算基础设施副总裁兼总经理Mark Lohmeyer
“在广泛的应用案例中,智能体 AI 正在为企业和消费者释放巨大价值。然而,随着这些工作负载在生产环境中迅速扩展,它们对基础设施提出了独特要求,需要采用新的方法来实现客户所需的性能、可靠性和成本效益。llm-d 1.0 的发布是行业应对这些需求的一个重要里程碑。作为 llm-d 的创始贡献者,Google Cloud 正在将 llm-d 1.0 集成到 Google Kubernetes Engine 中,并向Google TPU 和 NVIDIA GPU 的产品组合提供支持,使客户能够在经过加固的开源基础上扩展多租户环境、优化推理性能并大幅降低整体服务成本。”
CoreWeave AI/ML 工程副总裁Shadi Saba
“每个大规模运行推理的团队都会遇到同样的问题:上下文的管理成本往往高于输出本身,不同租户争夺同一集群,以及升级不能中断流量。llm-d 1.0 为社区提供了一个经过加固的开放基础,可以一次性解决这些问题,而不是逐项解决。CoreWeave 参与创立了该项目,客户可以在 CoreWeave Kubernetes Service 上运行 llm-d,并与NVIDIA Dynamo配合使用,从而选择适合其工作负载的服务堆栈。”
NVIDIA工程AI框架副总裁Ujval Kapasi
“下一波智能体AI要求推理要在大规模环境下兼具性能和效率。将 llm-d 引入 NVIDIA Vera Rubin 将帮助企业基于下一代 NVIDIA 加速基础设施构建和扩展先进的 AI 应用。通过与 llm-d 社区的合作以及来自开源 NVIDIA Dynamo的贡献,我们正在帮助企业从其 AI 基础设施投资中获得更多回报。”
AMD 执行副总裁及首席商务官Phil Guido
“借助 llm-d v1.0,我们正在 AMD Instinct™ GPU 上推进开放、高性能的分布式推理的发展。智能体工作负载需要能够兼顾响应速度与效率的基础设施。通过与 llm-d 社区合作,我们持续在开放基础上提供最新的推理创新,为开发者大规模部署AI带来更大的灵活性和选择。”
Cohere建模副总裁Acyr Locatelli
“在 Cohere,我们面临双重挑战:既要训练前沿语言模型,又要在企业规模下高效地服务模型。llm-d 帮助我们同时优化这两方面,无论是最大化大规模强化学习工作负载的吞吐量,还是满足用户在生产中期望的及时响应。其灵活的开源架构与我们为主权 AI 所做的承诺高度一致,让组织对 AI 的部署、运营和扩展方式拥有更大的控制权。”
DigitalOcean AI 工程高级副总裁Salman Paracha
“DigitalOcean 很高兴看到llm-d 1.0的发布,并将 llm-d 作为基础分布式推理软件,用于支撑 DigitalOcean Serverless Inference 和 Managed Agents,服务规模达数万亿个 token。其Kubernetes原生的设计以及与 Kubernetes Gateway API Inference Extensions 的集成,提供了强大的编排和端点选择能力,而经过生产环境验证的动态流控、推理感知负载均衡和预填充/解码分离路径,能够帮助我们实现可靠的大规模运营。我们与 llm-d 社区紧密合作,持续贡献上游功能和反馈。我们期待 llm-d 的持续发展。”
JetBrains AI 总监Vladislav Tankov
“JetBrains 自 llm-d 早期版本以来就一直与其合作,很高兴看到该项目发展到1.0版本。llm-d现在已在生产环境中为我们的新Junie Lite方案提供支持,并承载了其很大一部分流量。我们的流量范围既包括长时间的智能体编码会话,也包括简短请求,基于预测时延的调度功能启用起来非常直接,并能在这种混合流量场景中保持时延的一致性。Junie Lite为开发者免费提供我们的 AI 编码智能体,而 llm-d 通过降低成本、加快响应速度,让每块 GPU 能够处理更多请求,为实现这一目标提供了有力支持。我们很高兴能与 llm-d 团队合作。祝贺他们发布此版本。”
Mistral推理工程师、llm-d贡献者Mathis Felardos、Lucas Fernandes-Martins 和 Nikhil Thomas
“在交互式应用和高流量 API 中服务前沿模型,意味着要处理陡峭的流量峰值,同时避免突发工作负载影响高优先级客户的时延。借助 llm-d 的前缀缓存感知路由、流量控制和分离式服务支持,我们可以在不同商业服务层级中执行严格的优先级划分,在资源池饱和时自动暂缓或丢弃低优先级请求,从而使付费流量满足我们的时延服务等级目标(SLO)。Mistral 是开源软件的坚定支持者,并将继续回馈llm-d和DisaggregatedSet项目。”
Roblox AI 平台工程高级总监Nishchaie Khanna
“对于Roblox而言,如何在云与本地混合的GPU环境中高效服务大语言模型,是我们面临的核心基础设施挑战之一。llm-d 为我们提供了一个 Kubernetes 原生的基础平台,可在我们现有的硬件上实现解耦式服务和缓存感知路由,并且让我们不必受限于单一推理引擎。我们很高兴能在llm-d 1.0上继续开展建设,并回馈社区。”
关于红帽
红帽是开放混合云技术的领导者,为变革性的IT创新和AI应用提供可信、一致且全面的基础。红帽的云、开发者、AI、Linux、自动化和应用平台等技术产品组合,协助企业从数据中心到边缘跨环境部署任意应用。作为全球领先的企业级开源软件解决方案提供商,红帽积极投入开放生态系统和社区,解决未来的IT挑战,通过与合作伙伴和客户紧密协作,帮助他们构建、连接、自动化、保护和管理IT环境,并提供咨询服务以及屡获殊荣的培训和认证方案。
红帽
龚淑娟
李峥
近日,红旗创新突破BMS电池管理系统与碳化硅高压电子开关(SiC MOSFET)一体化集成电池控制技术,成功打造领先的红旗新能源车型新一代电池电控解决方案,为用户带来更安全静谧、稳定耐久、性能出众的高端新能源出行体验。
2026-11-12
英飞凌科技股份公司推出面向先进芯片嵌入解决方案的新品牌ENDOPACK™,涵盖广泛的电压等级、外形尺寸和应用领域。
2026-11-12
2026-11-11
2026-11-12
2026-11-10
2026-11-13
2026-11-11
2026-11-17
2026-11-16
永铭LKL(R)车规铝电解电容通过AEC-Q200,覆盖-55℃~+135℃,最高4000H@135℃,耐纹波达2010mA@100kHz/135℃,低ESR设计降低焦耳热,适配电子水泵、冷却风扇等105—125℃机舱高纹波场景。TCO模型测算显示可降低返修与售后成本,兼具宽温长寿命与国产化替代优势。
评论
加载更多