vLLM v0.28.0重磅更新:Kimi-K3全栈优化与DeepSeek V4稀疏MLA端到端支持

山寨币更新 加密初创公司与风险投资 加密骗局与安全

vLLM项目正式发布了备受期待的v0.28.0版本,这一版本凝聚了270位贡献者的584次代码提交,其中包含76位新加入的开发者。如此大规模的社区协作不仅体现了vLLM在开源大模型推理领域的影响力,更展现了项目在高性能推理引擎方向上的持续深耕。本次发布的重点围绕Kimi-K3模型的性能深度优化、DeepSeek V4稀疏多头潜在注意力的端到端实现、推测解码技术的多项突破、模型运行器V2架构的成熟演进,以及分层KV缓存卸载功能的扩展等多个核心方向,为大规模生产环境部署带来了实质性的能力提升。 在Kimi-K3的性能优化方面,v0.28.0版本实现了贯穿整个技术栈的系统级改进。Decode Context Parallel(DCP)支持的引入使得解码阶段的并行计算效率显著提升;融合的FlashKDA解码与预填充内核通过多项优化将内核级别的速度提升达到1.5到3倍;SiTU激活支持被加入MegaMoE架构,进一步丰富了混合专家模型的表达能力;GEMM-RS技术应用于序列并行场景,实现了更高效的张量切分与计算;特别值得关注的是自适应推测令牌预算机制,它为DSpark推测解码带来了约60%的TTFT(首令牌生成时间)改善。此外,可选的共享专家分片功能能够在每个GPU上节省约17 GiB的显存,这对于资源受限的部署环境尤为关键。

Kimi-K3还通过V2模型运行器成功实现了在ROCm平台上的运行,进一步扩展了AMD硬件生态的兼容性。 DeepSeek V4作为另一核心优化对象,在本次发布中实现了稀疏多头潜在注意力(MLA)的端到端支持,覆盖了常规解码、多令牌预测以及DSpark推测解码等多种场景。这一突破伴随着AMD Quark NVFP4量化格式的引入,为4位精度推理提供了新的硬件加速选项。推理努力程度提示与映射机制的实现使得用户能够更精细地控制模型的推理行为。稀疏top-k元数据内核经过多轮优化后性能得到显著提升。值得关注的还有细化的Eager CUDA Graph区域调整,通过精确划定图捕获边界,有效减少了不必要的图重建开销。

在ROCm支持方面,DeepSeek V4已在gfx11和gfx950两种架构上完成启用,标志着AMD平台对该模型的支持进入了新的阶段。 推测解码领域在v0.28.0版本中迎来了多项重要进展。DFlash2引入了局部卷积机制与候选选择器,进一步提升了草稿模型的预测准确性;DSpark置信度调度的验证策略有效降低了误接受率;异步调度功能对草稿模型默认启用,减少了调度延迟;多令牌预测的尾部全归约操作与本地argmax草稿令牌的融合实现,进一步优化了推测解码的执行路径;自适应的推测调度输入令牌预算机制则提供了动态调整能力,以适应不同的工作负载特征。 模型运行器V2架构在本版本中趋于成熟,多项关键能力得到补齐。E/P/D解耦架构的支持使得编码、预填充、解码阶段可以独立扩展;权重卸载功能的加入让大模型在资源受限环境下的部署成为可能;多层多令牌预测KV缓存支持的引入显著提升了长序列场景下的内存效率;编码器CUDA图的实现降低了编码阶段的CPU开销;解码器令牌级池化功能配合Transformers池化模型,为多种下游任务提供了统一的接口;无注意力模型支持的加入进一步扩展了架构兼容性;thinking_token_budget机制的引入则为推理预算控制提供了细粒度调节手段。 分层KV缓存卸载功能在v0.28.0版本中得到了显著增强。

磁盘卸载支持的加入使得冷数据可以溢出到更慢但更大容量的存储介质;通过模块路径注册的树外二级层级管理器提供了灵活的扩展机制;部分二级层级加载结果的支持减少了等待时间;层级度量指标的引入让运维人员能够实时监控卸载效率;规范化的CPU布局确保了与并行策略无关的卸载行为,避免了数据迁移过程中的一致性问题。 Rust前端与gRPC协议在本次发布中也实现了多项能力升级。独立的渲染器架构为前端提供了更灵活的部署选项;通过gRPC协议进行多模态图像推理的支持扩展了系统的接入能力;显式的数据并行秩路由机制简化了多GPU环境下的请求分发;强化学习生命周期控制能力的加入为RLHF训练流程提供了更好的支持;协议缓冲区模式现已发布到Buf模式注册中心,方便其他系统进行集成。 在默认配置方面,v0.28.0版本做出了几项重要调整。最大批处理令牌数从8192提升至16384,使得单次前向传播能够处理更长的序列;前缀缓存在Mamba模型上默认启用,这一混合架构模型现在能够自动享受前缀缓存带来的加速收益;Blackwell架构的CUDA图捕获默认值提升至1024,匹配了该硬件更强的计算能力。 模型支持方面,本次新增了多项模型能力。

Muse Glimmer模型获得完整支持;Ling 3.0 Flash模型不仅支持BF16精度,还实现了多令牌预测与解析器支持,并提供了FP8变体以及混合MXFP4路由专家;Dots3 NOTE的原生多模态支持使得该模型能够处理图文混合输入;Interns2mobius模型也加入了vLLM的模型库。在Qwen系列中,Qwen3.8在AMD ROCm平台上完成启用;Qwen3.5 GDN模型获得了融合的CUDA后卷积多令牌预测解码内核;GDN门控机制与推测令牌的对齐进一步提升了多令牌预测的准确性;针对纯文本检查点的多项修复保证了模型在不同数据格式下的稳定运行。 Transformers建模后端在本版本中实现了多项重要升级。多头潜在注意力支持的加入使得该后端能够处理更多采用MLA架构的模型;硬件无关的模型定义机制降低了模型适配不同加速器的复杂度;输入嵌入处理的完全泛化提供了更灵活的预处理能力;logit软封顶功能的引入使得采样过程更加稳定;多模态路径经过加固后稳定性显著提升。LoRA适配方面,Gemma4的视觉塔LoRA、Keye与Ultravox的塔与连接器LoRA支持为这些模型的定制化微调提供了便利。视觉编码器方面,Kimi-K2.5与Ernie-4.5-VL实现了ViT全CUDA图,Qwen3-VL的编码器支持torch.compile加速,长阻塞的H2D拷贝在ViT中被有效避免以减少气泡。

推理引擎核心的优化涉及多个层面。推测解码方面,DSpark置信度调度的验证、top-k DSpark马尔可夫投影、DFlash2的局部卷积与候选选择器、异步调度的自动启用、融合的多令牌预测尾部全归约与本地argmax草稿令牌、自适应推测调度输入令牌预算等多项改进共同提升了推测解码的效率。KV缓存与调度方面,MLA分块上下文的每请求调度、部分尾部前缀复用与细粒度前缀匹配、后端发布的KV打包、关闭前缀缓存时LIFO空闲块复用顺序的恢复、优先级调度中静默请求跳过的修复等改进提升了缓存利用率。性能方面,GPU与CPU同步的持续消除、新增的JIT预热基础设施与谓词过滤、使用8个warp启动的top-k/top-p Triton采样器、离线束搜索中跳过的反标记化、Mask Replay机制、优化的长上下文MLA缓存收集、HF修订版本在每次模型加载时解析为提交哈希等优化点遍布执行路径。混合Mamba架构方面,前缀缓存默认启用,Mamba注意力模块重构的最后部分完成,状态复制Triton内核的3D网格平铺优化,Mamba对齐在编码器上限之前应用等改进提升了该架构的效率。强化学习工作流方面,NCCL与稀疏NCCN上的有状态训练器发送、CuMemAllocator的discard方法用于标签选择性的GPU内存释放、LoRA启用时二级睡眠唤醒重载的修复、重写后的权重传输文档与标准化示例等改进降低了RLHF部署的复杂度。

硬件与性能层面,NVIDIA方向带来了多项底层优化。FlashInfer XQA解码在SM12x架构上获得支持;SM100架构上引入了CuTeDSL融合查询内核;DSA解码内核的程序化依赖启动减少了调度开销;SM90架构上MTP等于3时的原生DSA解码路径;GB10的融合MoE FP8调优配置;B12X密集线性后端的加入扩展了算子覆盖范围。AMD ROCm方向完成了torch 2.12与triton 3.7的栈升级;AITER与FP8推理在GFX120x架构上启用;DeepSeek-V4在gfx11架构上获得支持;gfx950架构上的稀疏MLA解码Triton内核经过优化;4位TurboQuant KV缓存的FlyDSL解码注意力内核;gfx942架构上的FP8 MQA logits内核;融合的Kimi-K3 KDA解码内核;融合的bf16到fp32路由器GEMM;支持的WSL2内核上的固定内存;16令牌块的预洗牌稀疏索引等改进覆盖了AMD生态的多个层面。Intel XPU方向带来了包含分块GEMM的torch线性后端;INC DeepSeek V4模型的MXFP8线性权重;异步调度PP采样令牌广播与计算的重叠;发布流水线中添加了XPU wheel;Arc Pro B70的Mamba SSU配置调优;UVA权重卸载问题的修复等进展。CPU方向实现了MLA后端,使得DeepSeek-V2与V3模型能够在CPU上运行;triton-cpu wheel的加入简化了部署;s390x架构上GPTQ与AWQ的启用配合tcmalloc;AMD平台上通过zentorch的BF16 MoE;Power平台上的非量化MoE后端;非量化MoE迁移到模块化内核专家结构;MXFP4块规模从4条指令折叠为2条指令等改进提升了CPU推理效率。 大规模服务方面,E/P/D解耦架构获得了多项增强。

模型运行器V2对E/P/D的支持;GPU侧预处理去除了重复的图像预处理;KV消费者可以省略多模态嵌入;编码器实例请求保持活跃直到图像编码完成;EC连接器调度器与工作节点的元数据管道等改进提升了分离式推理的效率。KV卸载方面,简单CPU卸载连接器的磁盘卸载;树外二级层级管理器;部分二级层级加载结果;层级卸载度量指标;暴露给卸载后端的数据并行拓扑;并行策略无关卸载的规范化CPU布局;避免了二次复杂度的ARC批量淘汰等增强扩展了缓存管理能力。Mooncake连接器加入了存储组语义与租户ID支持,并在Docker镜像中提供了官方wheel。连接器方面,传输模式(推送拉取)纳入NIXL兼容性哈希;MoRIIO每层读取完成屏障;2P2D宽EP配合mori-ep与mori-io在数据并行等于专家并行等于16时的支持;推送连接器中的陈旧远程清理等改进提升了数据传输效率。并行性方面,EPLB平衡性计算经过修复与测试;密集多节点DP重范围调整等改进提升了大规模分布式部署的稳定性。 量化方面,在线量化实现了多项优化。

在线MXFP4支持的加入;在线权重缩放系数在TP之间共享;在线NVFP4专家打包中的精度保持;在线NVFP4 MoE内核在重载间的复用等改进提升了在线量化的效率与精度。NVFP4方面,批不变NVFP4 MoE通过CUTLASS实现;KV 4-over-6缩放搜索;支持SwiGLU-OAI与ReLU2激活的CuTeDSL MoE;输出数据类型与模型数据类型匹配等改进提升了NVFP4的适用范围。新内核方面,块级scaled_mm的实现;DeepSeek-V4 AMD Quark NVFP4配合模拟内核等扩展了量化算子库。修复方面,动态INT8 W8A8 MoE配置不再构建为W8A16;TritonExperts崩溃问题修复;FlashInfer CUTLASS的MXFP4转换;MXFP4的fp32权重缩放与每专家检查点映射;融合块缩放方向等修复提升了量化路径的稳定性。 API与前端方面,新能力包括从HTTP头部解析的请求优先级;会话ID管道集成到请求中;流式解析器引擎中的count_reasoning_tokens;inference/v1/generate上的content_parts;所有derender请求类上的模型可选性;调试级别记录的输出令牌ID;vLLM Recipes与基于原生配置的部署和基准测试的连接等扩展了API的功能边界。Rust前端实现了独立渲染器;gRPC多模态图像推理;显式数据并行秩路由;强化学习生命周期控制;来自开发者消息的动态工具;协议缓冲区模式发布到Buf;MiniJinja升级到2.22等改进提升了前端能力。

Anthropic API方面,v1/messages上客户端错误返回4xx;disable_parallel_tool_use的保留;停止序列的限制等修复提升了该API的兼容性。Cohere方面,上游解析器修复;停止序列的正确报告;向量化的二进制嵌入位打包等改进提升了该API的稳定性。结构化输出方面,请求停止令牌在语法终止前在xgrammar中被屏蔽;结构化输出正则表达式中拒绝NUL字节;负令牌ID作为词汇表外拒绝;验证器抛出VLLMValidationError等改进提升了该功能的可靠性。健壮性方面,uvicorn信号处理器的禁用而非竞争;统一的入口点异常处理程序;非对象JSON请求体返回400而非500;昂贵工作前的生成输入限制;cache_salt要求非空等修复增强了系统的稳定性。 安全方面,本版本修复了通过采样率伪造绕过音频解码时长防护的拒绝服务漏洞;NanoNemotronVL中也强制执行了音频解码时长限制;DeepStream被分类为具有像素限制的GPU后端;_load_ov2_processor通过resolve_trust_remote_code进行保护;文档现在警告api-key参数并不限制所有端点等改进提升了系统的安全姿态。 依赖方面,Transformers升级到5.15.0;huggingface-hub升级到1.27.0;fastsafetensors升级;ROCm的torch、triton、torchaudio、torchvision升级;运行时镜像升级到Ubuntu 24.04并获取了rdma-core大于44;DeepGEMM固定到deepseek-ai nv_dev尖端版本;DeepEP通过完整提交哈希固定;FlashAttention 3使用torch稳定API构建等更新保持了依赖的现代性与安全性。

破坏性变更与弃用方面,bitsandbytes支持现已成为树外插件;废弃的运行时KV缩放计算calculate_kv_scales被移除;override_attention_dtype被移除;reasoning_content输出移除被记录为破坏性客户端变更;KV卸载层级度量指标从kv_offload_tiering_block_queries与hits重命名为chunk变体;MoE遗留代码被移除等变更要求用户在升级前进行相应的适配。 vLLM v0.28.0版本作为一次重要的里程碑发布,不仅在Kimi-K3与DeepSeek V4等前沿模型上实现了深度的性能优化,还在推测解码、模型运行器架构、分层缓存卸载、多硬件平台支持等基础设施层面带来了全面的能力提升。对于追求高性能推理能力的技术团队而言,这一版本提供了值得认真评估的升级价值,同时也需要注意其中包含的破坏性变更对既有部署可能产生的影响。 。