2025 年第三季度,开源项目 ZLUDA 推出重大升级版本 ZLUDA 5。对于希望在非 NVIDIA GPU 上运行现有 CUDA 应用的开发者、科研人员和运维团队来说,这次更新既包含了工具链的实用增强,也带来了面向机器学习推理场景的重要里程碑。本文将带你全面了解 ZLUDA 5 的核心改进、技术细节、当前适用场景与局限,以及如何以最快路径参与测试并提交有价值的反馈。 ZLUDA 的目标与本次发布重点 ZLUDA 的核心目标是让未修改的 CUDA 应用在非 NVIDIA 硬件上运行,主要面向 AMD RDNA / ROCm 生态。ZLUDA 5 在正确性与可观测性上做了大量工作,优先保证计算结果与 CUDA 规范一致,同时为社区贡献者提供更友好的调试与复现手段。相比以往版本,这次发布更重视机器学习推理负载的兼容,并在工具链层面提供了可复用的离线编译能力。
调试与追踪工具 zluda_trace:低门槛贡献路径 ZLUDA 5 引入了 zluda_trace,这是一个用于收集运行时行为与 API 调用的追踪工具。社区常问如何贡献,运行你常用的工作负载并附带 zluda_trace 生成的追踪文件,是最直接且对项目帮助最大的方式之一。对于不会编程的参与者,提供良好的追踪数据和日志可以显著加速问题定位。需要注意的是,目前团队优先接受 Linux 平台的日志,Windows 日志暂时尚不完善。想提交问题报告的用户应参考项目的 Troubleshooting 页面,按说明开启追踪并将生成的文件附在 issue 中。 离线编译器 zoc:从库调用走向命令行工具 ZLUDA 在内部包含一个将 NVIDIA PTX 转换为 AMD RDNA 目标的编译管线,过去这一流程仅在运行时通过库函数触发。
ZLUDA 5 引入了 zoc(ZLUDA offline compiler),由社区贡献者实现,提供类似 NVIDIA ptxas 的命令行接口。使用 zoc,开发者可以将 PTX 输入,生成中间的 LLVM IR(链接前后)以及最终由 ROCm 工具链生产的 RDNA 汇编,这对编译器调试、指令级分析与性能调优非常有帮助。项目随后又在易用性上作了几次小改进,使得 zoc 在日常开发和回归排查中更顺手。 机器学习推理路线:从 llm.c 到 llama.cpp 的实战进展 ZLUDA 团队将机器学习推理作为优先方向,目标是在不牺牲正确性的前提下逐步补齐支持栈。ZLUDA 5 在 llm.c 上达成了首批里程碑。test_gpt2fp32cu 与 test_gptc2cu 能够在 ZLUDA 环境中运行(在禁用多 GPU 与 Flash Attention 的构建下)。
Flash Attention 的支持目前受限于 MIOpen 中缺失的 API,后续会补齐这些依赖。 第二个里程碑是对 llama.cpp CUDA 后端的初步支持。团队报告在部分测试环境下性能与 Phoronix 针对 ROCm 的测评结果处于相近范围,这意味着在社区硬件上使用 ZLUDA 运行 llama.cpp 开源模型推理已具备实际可用性。若你的运行结果与 ROCm 相比差距明显或无法运行,项目鼓励提交详细的 issue 并附上 zluda_trace 与日志,便于开发者定位问题。 PyTorch 支持的初步尝试与当前阻碍 虽然 ZLUDA 在推理库上取得进展,但 PyTorch 仍是尚未完成的大目标。ZLUDA 5 中新增了 zluda_ld 库,用来解决 PyTorch 可执行文件中 DT_RPATH 固化 CUDA 库路径的问题。
通过结合 LD_AUDIT 环境变量,zluda_ld 可以在 Unix 系统中强制劫持并加载 ZLUDA,绕过 PyTorch 默认的库查找逻辑。 然而 PyTorch 完整运行仍面临多方面挑战:编译速度、性能库(如 cuBLAS、cuBLASLt、cuDNN)的缺失或不全覆盖、以及 LLVM AMDGPU backend 中的功能或性能问题。团队计划在后续周期重点攻关这些短板,同时逐步在预发布构建中提供改进供社区验证。 性能库与内核缓存:显著提升反复加载场景体验 ZLUDA 5 开始引入对部分 NVIDIA 性能库的初始支持,包括 cuBLAS、cuBLASLt 以及 NVML 等操作的实现骨架。当前支持的函数集仍然有限,但架构设计为快速扩展。针对大量模块化 CUDA 程序在运行时频繁编译 PTX 导致的延迟问题,ZLUDA 5 还引入了内核缓存机制。
在加载 GPU 模块时,提取 PTX 并编译为目标机器码是昂贵的操作。通过本地缓存编译结果,可以大幅缩短首次加载后的重复启动时间,尤其在 ML 模型中多模块、多内核的场景里效果明显。 持续集成与测试覆盖:保证正确性并减少回归 为了提高稳定性,ZLUDA 团队扩展了 CI 能力。每次 Pull Request 都会触发单元测试,并且设置了PTX sweep 的夜间测试套件,这有助于监控行为一致性并预防回归。除此之外,项目也为宿主端 API 的测试奠定了初步框架。CI 的投入直接催生了一系列编译器与行为修复,使得许多操作在浮点精度和子正常数行为下能达到与 NVIDIA 相容的结果。
根据团队的检测,目前绝大多数支持操作在 CUDA 定义的精度范围内返回一致结果,只有少数例外仍在跟进。例如 32 位浮点根号在非默认舍入模式下的差异,以及 64 位浮点复合运算(除法、开方等)仍然存在差异。 预发布构建与社区参与的加速路径 ZLUDA 5 将预发布构建自动发布到 GitHub Releases,每次提交后都会生成二进制预览版本。对希望快速验证修复或新功能的用户来说,这大幅降低了从源码构建的门槛。项目同时保持一个贴有 help wanted 标签的问题集合,适合想贡献代码的开发者挑选合适任务。对非开发者而言,最有价值的贡献仍然是使用 zluda_trace 收集现实工作负载的运行轨迹并提交 issue,帮助团队覆盖多样化场景。
兼容性与已知限制 尽管 ZLUDA 5 在正确性和工具链上取得了显著进展,但仍有若干限制需要注意。首先,某些常用指令或 API 在编译器中尚未完全实现,导致特定内核或库函数无法运行。其次,Flash Attention 依赖的 MIOpen API 还未就绪,会影响部分加速算子在 llama.cpp 或 llm.c 等项目中的表现。第三,Windows 平台的日志收集与问题复现机制还不完善,因此提交问题时优先提供 Linux 环境下的追踪与日志会更有效。最后,某些浮点高级行为与 64 位运算的差异仍在修复中,使用对精度有严格要求的科研或金融计算时建议先自行验证结果兼容性。 实践建议:如何快速上手并输出高质量问题报告 想体验 ZLUDA 5 或为项目贡献反馈的用户可以按以下思路展开。
先从项目 Releases 下载预发布二进制,或根据说明启用自动构建的预览版本。在目标机器上运行受控测试用例或常用模型时开启 zluda_trace,并在 Linux 环境下同时保存系统级日志与应用输出。若遇到崩溃或结果不一致,附上 zluda_trace 文件、完整运行命令行、硬件信息(GPU 型号、驱动版本)以及 ROCm 或系统日志,会大幅提升问题定位效率。对开发者而言,zoc 提供了从 PTX 到 LLVM IR 再到 RDNA 汇编的可视化能力,是调试编译器生成物与手动对照硬件特性的有力工具。 面向未来的工程方向 ZLUDA 团队后续会继续在几个关键方向投入资源。性能方面将补齐更多性能库(尤其是 cuDNN)并加速编译器流水线,缩短 PTX 到机器码的转译时间。
兼容性方面会逐步实现更多 CUDA 指令与 API,降低因指令缺失导致的功能断层。工具链方面将继续完善 zoc 与 zluda_trace,使得问题复现与修复更高效。PyTorch 支持被列为重要但复杂的长期目标,完成这一目标将极大拓展 ZLUDA 的应用场景。 结语与行动呼吁 ZLUDA 5 代表了 ZLUDA 在稳定性、可观测性与机器学习兼容性方面的重要进展。对于希望在 AMD 等非 NVIDIA 平台上运行 CUDA 工作负载的用户和组织,这一版本提供了实用的调试工具、初步的性能库支持与不断完善的预发布构建。无论是提供运行追踪、提交详尽的 issue,还是参与代码级贡献,社区的每一份力量都将推动项目走得更远。
现在就下载预发布包、运行你的模型并使用 zluda_trace 捕获轨迹,然后将发现反馈到项目仓库,是帮助 ZLUDA 成长的最快方式。 。
