随着人工智能技术的迅猛发展，图像生成模型在多个领域中发挥着越来越重要的作用。从艺术创作到商业广告，乃至虚拟现实和游戏设计，生成逼真且高质量图像的需求不断增长。扩散变换器（Diffusion Transformer）作为新一代图像生成架构，凭借其卓越的表现逐渐受到关注。然而，要让这些大型模型在边缘设备上高效运行，数值计算精度与性能的权衡成为关键课题。在众多数值表示格式中，BF16（Bfloat16）因其动态范围较大，成为图像生成模型的热门选择，但它同时带来了不少挑战。本文将深入解析BF16在图像生成模型中的应用优势、面临的问题以及针对不同硬件平台的优化实践，特别是针对M1/M2芯片架构下的FP16替代方案，旨在为工程师和研究人员提供实用参考。
扩散变换器的发展与BF16的兴起扩散变换器结合了扩散模型与变换器结构的优点，能够通过逐步去噪恢复出高质量图像。这类模型参数众多，规模从数十亿到数百亿不等，因而对计算资源要求极高。传统的FP32（单精度浮点）虽然精度高，但计算开销较大，难以满足实时或边缘推理需求。FP16（半精度浮点）则拥有更好的计算效率，但其动态范围较窄，面对逐层激活值不断扩大的扩散变换器，可能出现溢出或精度损失。BF16在保持与FP32相同阶码位数的情况下，只降低尾数位数，拥有更宽广的动态范围，适合应对激活规模不断扩大的问题，因此在图像生成模型中被广泛采用。例如像Draw Things支持的FLUX.1（12B参数）和HiDream I1（17B参数）等大型模型，均采用BF16作为主要的数值格式。
BF16的优势主要体现在能够容纳更大范围的激活值，减少因数值溢出带来的模型表现不稳定，尤其是在深层网络中极为重要。此外，使用BF16还能显著降低内存带宽压力和硬件计算负载，提升推理和训练的综合效率。BF16带来的挑战及软硬件生态限制尽管BF16优势明显，但其缩减的尾数位数相比FP16造成的精度缺失也成为不可忽视的问题。偏低的尾数位数意味着计算时精细的数值变化可能被忽略，导致误差积累和数值不稳定，尤其是在存在大量乘加和非线性变换的深度模型中更为突出。针对苹果的M系列芯片（如M1和M2），BF16的硬件支持相对有限，其软硬件生态仍在逐步完善。macOS 15之后才实现相对完善的软件仿真支持，但性能仍约为FP16的一半，给需要低延迟和高吞吐量的实时图像生成带来瓶颈。
此外，苹果芯片硬件设计更偏重于FP16的加速，因此对于没有专门硬件BF16支持的设备，直接采用BF16可能并非最佳选择。FP16在实际中的优化实践与新思路正因为BF16在某些平台上的限制和精度问题，Draw Things等领先图像生成团队投入大量精力优化FP16数值格式的使用。他们发现在扩散变换器的关键环节中，合理地混合使用FP16和FP32的数值类型，能够兼顾效率与精度。例如，在扩散变换器的最后层归一化之前，将激活值主要计算路径采用FP32累积，大幅增加动态范围的容忍度。此举避免了在FP16可能发生的溢出和精度丢失，同时保证了性能损耗极小，因为层归一化和逐元素操作并非计算瓶颈。另外，他们也在多层感知机（MLP）层引入了保守的激活缩放策略，比如将部分激活乘以常数因子（例如1/8或1/4），抑制激活值在FP16范围内溢出。
这些缩放系数虽然保守，但结合FP16约10位尾数带来的精度提升，往往在数值保真度上优于不缩放的BF16。针对注意力模块，采用提前应用缩放因子的策略，避免内嵌计算核中的数值积累导致溢出，从而提升稳定性。同时，前向传播和反馈机制被细致划分，FP16只应用于安全区间内的计算，关键环节再切换到FP32，形成FP32与FP16混合精度的高效结合。具体到不同模型，Draw Things团队为FLUX.1和HiDream等大型扩散变换器制定了针对性调优方案，通过层级选择性的激活缩放和混合精度转换，实现了稳定且高效的FP16推理。这种思路不仅降低了对BF16硬件支持的依赖，也使得大型前沿模型能够在旧款Apple Silicon设备上流畅运行，将尖端AI图像生成技术带给更广泛的用户群。未来展望：从混合精度到硬件友好型设计尽管如今混合精度策略取得良好效果，但从长远来看，更加面向硬件友好并兼顾精度、安全和效率的数值格式设计是未来重点。
GPU和AI加速器厂商纷纷加入BF16硬件支持的阵营，提升了执行效率与生态成熟度。同时，灵活的软件栈和框架优化将持续简化混合精度编程和调试难度，让开发者可以专注模型创新而非数值稳定性问题。从图像生成模型角度看，随着模型参数规模不断扩容，必须继续深入研究数值格式对激活动态的影响，探索更智能的数值缩放和自适应精度分配方法，实现效能和表现的极致平衡。此外，苹果生态系统及其他移动端硬件厂商也将加速提升BF16及其他高效数值格式的硬件支持，助力AI计算性能跃升。总结而言，BF16在图像生成模型中凭借其较大动态范围成为解决深层激活放大关键的利器，但其精度劣势和软硬件支持现状限制了应用。借助对激活动态深入理解的FP16混合精度优化策略，开发者正成功绕开硬件瓶颈，推动大型扩散变换器模型在边缘设备上高效落地。
未来，数值格式与硬件平台的协同演进将不断赋能图像生成领域的新突破，满足更丰富的应用场景和用户需求。
