随着人工智能、大数据和高性能计算需求的不断增长,GPU的算力和内存资源利用效率备受关注。NVIDIA近期发布了针对Linux内核的首批扩展GPU内存(Extended GPU Memory,简称EGM)虚拟化补丁,标志着其在GPU虚拟化领域迈出了重要一步。该技术基于NVIDIA最新的Grace Hopper和Grace Blackwell处理器平台,能够让GPU访问更多系统内存资源,甚至实现跨多节点集群的系统内存共享,显著提升了虚拟机中GPU的计算能力和内存带宽表现。相较于传统GPU内存管理方式,EGM打破了GPU对本地显存的依赖,使GPU能够高效调用远端系统内存,大幅度扩展了GPU可以调配的内存池,推动高性能计算和虚拟化 workloads 迈入新阶段。 NVIDIA工程师Ankit Agrawal在此次提交给Linux主线内核的请求反馈(RFC)补丁系列中,详细阐述了EGM虚拟化的设计理念。EGM允许GPU直接访问系统内存分配,这些内存可以分布在同一CPU插槽、不同CPU插槽,甚至跨越不同计算节点。
借助NVSwitch高速互连,数据传输路径极大优化,实现了GPU之间以及GPU与CPU之间的高带宽通信,极大降低延迟,提升吞吐量。这种设计理念根植于现代多节点计算架构,适应了分布式计算环境下对大容量内存访问的强烈需求。虚拟化环境下,EGM将主机内存分割为两大区域供管理使用:一部分是Hypervisor区域,专供主机操作系统使用;另一部分则是对Hypervisor不可见的区域,专属于虚拟机使用,称为Hypervisor-Invisible(HI)区域或EGM区域。通过ACPI DSDT属性接口将该内存范围映射并暴露给虚拟机,确保虚拟机能够透明地访问配置的扩展内存空间。 此次发布的补丁基于Linux 6.17-rc4版本,结合QEMU虚拟化环境实现。开发者在Grace Blackwell平台上进行了验证测试,成功启动虚拟机、加载NVIDIA驱动模块后,使用nvidia-smi命令确认EGM功能的激活。
虽属于初始版本,尚需配合正在开发中的嵌套页表(Nested Page Table,NPT)补丁使用,才能全面支持CUDA等计算任务,显示了整体虚拟化技术栈的协同发展趋势。此外,补丁引入了名为"nvgrace-egm"的新VFIO驱动,专业处理EGM虚拟化内存管理,推动Linux虚拟化技术对最新硬件特性的天然适配和高效兼容。 EGM技术的出现,对于数据中心虚拟化、云计算、高性能计算以及AI训练推理等领域具有深远意义。首先,它突破传统显存有限的瓶颈,利用共享主机内存资源补足GPU内存不足的局限,方便大型模型和海量数据的处理。其次,跨节点的内存访问能力极大提升了分布式计算中的资源调度灵活性和负载均衡,使得多GPU多节点集群能够协同高效工作。最后,结合虚拟化的优势,EGM为云服务提供商提供了GPU资源多租户隔离的实现路径,确保不同用户或业务线在云端可以安全、高效地调度GPU算力和内存资源。
Linux作为全球最流行的服务器和高性能计算操作系统,长期以来都是GPU驱动和加速技术的主战场。NVIDIA将EGM支持带入Linux内核,进一步巩固了其在开源硬件加速生态中的核心地位。与此同时,社区的积极参与和反馈机制保证了该技术能够快速迭代完善,满足多样化用户需求。此外,针对EGM的可视化管理和监控工具逐步完善,帮助系统管理员实时跟踪GPU内存使用情况,保证虚拟化环境的稳定和安全运行。 NVIDIA此次针对EGM虚拟化技术的Linux补丁不仅展示了其硬件创新能力,还体现了软件层面的深度融合。以往GPU虚拟化多局限于分时调度和显存切片,而EGM从内存架构底层出发,重新定义了GPU和系统内存的交互模式。
未来,随着更多支持EGM功能的硬件平台上市,包括基于Grace架构的服务器芯片和配套的NVSwitch高速互连网络,预计该技术会在云计算、边缘计算以及超算中心得到普及和应用。 此外,EGM技术对于推动AI训练中的大规模分布式内存共享至关重要。当前AI模型越来越大,单卡显存往往无法满足需求,通过EGM技术,多个GPU可以共享同一集群中的系统内存,极大缓解了显存瓶颈,优化了训练性能。这对于企业和研发机构节省硬件投入成本、提高资源利用率具有显著优势。 不过,EGM技术的推广仍面临一定挑战。虚拟化环境中的内存隔离和安全保障需求极高,确保Hypervisor不可见区域的绝对隔离,避免数据泄露或冲突,是实现EGM落地的关键。
同时,相关Linux内核补丁与虚拟化中介软件(如QEMU、KVM)的紧密配合仍在调整中,如何实现稳定、高效并支持多版本Linux发行版,依然需要社区和厂商持续协作解决。此外,NVIDIA驱动及CUDA工具链对EGM的深层支持,也是技术普及的必要条件,驱动开发团队和应用开发者需共同推动生态成长。 纵观GPU内存虚拟化历史,从早期的GPU直通(Pass-through)、时间分片,到vGPU技术,再到如今的EGM扩展内存架构,技术逐步演进并聚焦于更高的资源利用率和性能保障。NVIDIA此次为Linux内核贡献的EGM虚拟化补丁,代表了当前虚拟化技术的前沿方向,彰显了NVIDIA在硬件设计与开源软件协同推进方面的行业领导力。未来,随着大规模异构计算的普及,EGM很可能成为新一代GPU虚拟化的标配技术,深刻影响计算架构和云服务的演进轨迹。 综合来看,NVIDIA针对EGM虚拟化的Linux补丁为改善数据中心GPU资源管理和虚拟机性能带来了革命性改变。
通过让GPU跨节点共享系统内存,极大扩展了硬件的灵活性和效率,满足AI、大数据、HPC等多场景的严苛需求。随着相关驱动和工具链日益完善,EGM虚拟化有望快速普及,为业界带来更高效、更智能的计算未来。企业和开发者应积极关注EGM技术动态,抓住这波GPU内存虚拟化创新浪潮,发掘隐藏在跨节点系统内存访问背后的巨大潜力,推动数字化转型和创新发展走向新高度。 。
