在现代计算领域，图形处理单元（GPU）作为高性能计算的重要组成部分，越来越受到广泛关注。了解GPU的性能表现不仅对于游戏开发和图形渲染至关重要，更是人工智能训练、大数据分析以及科学计算等领域的核心环节。GPU的性能复杂且多样，仅凭理论难以充分评估。本文围绕通过测量内存带宽的方式，深入探讨多款不同架构GPU的性能表现，带你了解它们背后的硬件机制及优化思路。 首先，GPU与传统CPU在内存访问机制上存在显著差异。CPU通常通过指针直接访问内存，而GPU则多使用描述符（Descriptor）来管理内存访问。
描述符不仅指向内存地址，更包含了额外的元数据以支持复杂的内存寻址，例如纹理分辨率、格式、Mip级别以及多重采样信息等。由于不同硬件厂商对描述符的具体实现方式存在差异，理解描述符的作用对于合理运用GPU内存资源具有指导意义。 GPU中的缓冲区种类多样，主要包括字节寻址缓冲区（Byte Address Buffers）、结构化缓冲区（Structured Buffers）和类型化缓冲区（Typed Buffers）。字节寻址缓冲区提供灵活的字节偏移访问能力，但因硬件限制多需4字节对齐，且访问效率受限于加载的字节块大小。结构化缓冲区则在API层面规定了数据类型大小，配合驱动程序与编译器保证数据对齐，从而实现更高效的8字节或16字节加载操作。类型化缓冲区利用纹理单元的一些功能，可以直接在硬件层面对特定格式的数据进行转换和解包，减少程序中额外的算术逻辑开销，但在某些场景下使用类型化缓冲区带来的开销可能超过其优势，由此需根据实际需求权衡选择。
纹理单元是GPU中处理纹理加载的专用硬件模块，其功能远比简单加载复杂。不同维度的纹理（1D、2D、3D）、Mip映射层级、纹理数组以及立方体贴图等格式需要将浮点坐标转换为纹素坐标。地址模式如环绕、镜像、边界颜色等采样设置，以及过滤模式如线性过滤和各向异性过滤，都会影响纹理单元的计算及加载流程。此外，纹理单元还承担格式解包、颜色空间转换（如sRGB）、块压缩格式的解码和多个纹素的混合采样等任务。所有这些功能的硬件实现提高了性能，但也带来一定的复杂性。 为应对物理限制和带宽瓶颈，GPU内部采用多级缓存层次结构。
通常包括L0、L1、L2级缓存以及专用指令缓存和标量缓存，不同厂商和架构的设计有所不同。缓存越靠近计算单元，速度越快但容量越小；反之容量大但延迟高。合理利用缓存可以显著降低对主存（VRAM）的访问频率和延迟，提升整体吞吐量。 关于缓存写策略，GPU多采用写回（write-back）模式，从而允许“写合并”，即多个连续的写操作合并存储到缓存行中，减少访存次数和能耗。同时，在某些需要跨线程通信和数据同步的场景中，标记写操作为“全局一致”（globallycoherent），使写入能够直接更新到可被全GPU核心访问的共享缓存级别，解决因缓存私有化带来的数据无法及时同步问题。 尽管缓存存在，GPU在遇到缓存未命中时依然必须等待较高延迟的主存访问。
为弥补这一点，现代GPU设计允许更多线程并行在执行单元中“挂起”，即保持多批线程同时在不同执行阶段忙碌，通过线程切换隐藏内存访问延迟。适当减少单个线程使用的寄存器和共享内存可以提升硬件保持的挂起线程数量，进一步优化性能。但线程数量过多，也可能造成缓存污染，导致缓存行提前被其他线程替换，反而降低效率。 针对GPU内存带宽的测量，先前方法多为简单读取大块数据并写回，存在测量写带宽和执行开销的问题。优化方法包括将写操作限定在非常小的缓冲区避免写入VRAM，使用循环和展开循环的方式放大读操作次数以摊薄调度开销，并且有意识地安排各线程组读写不同区域以避免缓存命中引起的假象带宽提升。通过设计多线程启动位置和分布，能够有效避免缓存重复利用，真实反映VRAM带宽性能。
更进一步的细节，纹理访问和缓冲区访问在硬件路径上的处理可能大不相同，即使从表面上看二者的加载操作类似。测试并比较两者在相同条件下的带宽表现可以揭示不同架构对资源访问路径的优化策略。例如在某些设备上，纹理访问能够获得更高带宽，因为硬件对于纹理路径的流水线或缓存体系做了特别设计。 数据类型大小也显著影响带宽表现。较大数据单元（如16字节）可以利用硬件的批量加载指令减少请求次数，提高吞吐性能；而不对齐或不规则的数据单元（如12字节）往往被拆分成多次传输，导致带宽下降。对齐策略和加载粒度设计在代码层面需要重点关注。
通过对多款代表性GPU的实测，勾勒出各自架构的内存层次特征和硬件优势。例如，Qualcomm Adreno 740移动GPU在Meta Quest 3的应用中表现出纹理访问带宽显著优于缓冲区访问，可靠性高且能大幅提升带宽接近3倍，表明在特定硬件生态中优化纹理使用策略极具价值。该GPU虽然在整体带宽上不及桌面级GPU，体现了移动设备功耗限制下的设计权衡。 AMD Radeon RX 9070 XT基于RDNA4架构，缓存层级丰富，从快速的L0缓存到大容量Infinity Cache，设计紧密结合硬件指令集和工作组处理单元。测量中发现整数和浮点数据访问带宽差异源于ALU瓶颈，提示开发者需关注算术操作的复杂度对带宽测量的影响。 Intel Arc B580搭载Battlemage架构，展现了独特的缓冲区和纹理访问特性，四字节加载和十六字节加载在两者间的带宽表现相反，说明不同数据通路硬件设计的差异。
12字节元素遭遇带宽瓶颈，硬件无法一次性加载，影响缓存命中率和吞吐量。 NVIDIA GeForce RTX 5070 Ti基于Blackwell架构，展现了强大的缓存管理能力和丰富的硬件资源。实验结果揭示了频繁写入同一缓存小区块导致的大幅性能下降，可能与底层缓存一致性和写策略深度优化相关。其读取缓冲区时，针对整型数据的带宽低于浮点数据，使人疑惑背后的硬件机制，令人期待未来进一步研究结果提供解释。 综合来看，通过具体内存带宽的微基准测试，不同GPU架构的设计取向、缓存层级优化和资源访问路径差异被逐步揭示。对于开发者而言，理解这些特点并结合程序需求进行合理代码调整，能够挖掘更多性能潜力。
尤其是在针对特定设备或低功耗环境时，微调资源类型（缓冲区与纹理）、负载大小和访问模式成了提升体验和性能的关键环节。 未来，随着硬件架构的不断进化和软件编译技术的升级，内存访问机制将趋于更加复杂和智能。扩展微基准的覆盖范围，融合多维度性能指标，将帮助建立更全面的GPU性能画像，深化对异构计算和并行处理的认知。开发团队和硬件制造商之间的协同创新，将共同推动GPU性能和应用的极限。期待更多基于实测数据的公开分享，促进行业技术交流，推动生态繁荣发展。
