在深度学习领域，归一化技术一直被视为提升神经网络性能和训练稳定性的关键所在。尤其是在近年来风靡全球的Transformer模型中，归一化层如层归一化（Layer Normalization）几乎成为不可或缺的组成部分。归一化层通过对激活值进行标准化，帮助模型克服梯度消失或爆炸的问题，加快收敛速度，提高泛化能力。然而，一项开创性的研究近日挑战了这一传统观念，提出了无需归一化层的Transformer架构，目的是简化模型结构、降低计算负担同时保持甚至提升性能，这一成果为势头强劲的Transformer生态系统注入了新的活力。 该研究的核心创新是引入一个被称为动态双曲正切（Dynamic Tanh，简称DyT）的元素级非线性变换替代传统归一化层。DyT的定义为DyT(x) = tanh(α x)，其中α是可学习的参数，特点是形状类似于归一化后激活映射的S型曲线。
据观察，传统的层归一化处理过的输入特征往往表现出类似于双曲正切函数的非线性特征映射，因此研究团队灵感来源于此，将此类函数直接引入以简化模型结构。该方法不只减少了对复杂归一化计算的依赖，而且提供了更灵活的参数调节能力，能够适应不同任务与数据集。 传统归一化方法的局限性在于其计算成本与对批量大小的依赖。层归一化虽然没有批归一化那样受限于批量大小，但仍然涉及矩阵减均值和除标准差的步骤，这在大规模训练和推理时带来额外复杂度。与此同时，归一化层引入的噪声可能影响模型的推理稳定性，尤其是在小批量甚至单样本情况下表现不佳。而DyT通过可微调的双曲正切函数，既保留了归一化对激活进行约束的优势，又避免了传统归一化的计算瓶颈和不稳定性，让训练流程更加简洁高效。
在多项实验中，无归一化Transformer架构与DyT操作表现出了优异的性能。此技术适用于多种任务场景，包括计算机视觉图像识别、自然语言处理的生成与理解任务，以及自监督学习领域。模型在多个公开数据集上的表现不仅匹配了传统带有归一化层的Transformer，还在部分情况下实现了超越。更为重要的是，新的架构在调参上表现出极强的鲁棒性，显著减少了过去依赖细致超参数调整的繁琐，降低了模型训练的门槛和复杂度。 除了性能的提升，研究团队的工作无疑对Transformer的理论基础提出了反思。习惯于将归一化视为“必需品”的深度学习社区，将开始重新审视归一化在神经网络中的本质作用。
DyT所展现的局部非线性激活替代方案，启发学者们去探索更为简洁且高效的模型构造原理，在未来或将推动更多前沿深度学习架构的设计，改善计算资源利用率，更好地适配边缘计算和移动端应用需求。 此外，无归一化Transformer架构还带来了特定应用场景的巨大潜力。由于减少了依赖归一化的计算流程，新模型在低功耗设备上实现高效推理的可能性增大，有利于推动智能手机、嵌入式设备等硬件平台的智能化升级。同时，对于需要实时响应的在线推理服务，以往因归一化带来的延迟可能被显著降低，提升用户体验。自监督学习中无需归一化的模型更易于实现大规模训练稳定性，助力无标签数据的有效利用，加速人工智能在更多领域的普及。 总结来看，无归一化Transformer及其代表性技术DyT的提出，打破了长期以来归一化层不可或缺的观念。
研究证明，通过动态双曲正切这样的简单非线性激活替代，Transformer可以达到稳定高效的训练效果，甚至超越传统模型性能。此发现不仅丰富了Transformer的技术路径，也为神经网络结构设计提供了新的思路和方向。未来，随着更多研究和优化的深入，无归一化Transformer有望在工业界和学术界引发广泛关注，促进更加轻量和高效的人工智能系统诞生，推动深度学习迈入更加开放和多元化的发展阶段。
