随着移动设备性能的不断提升,视觉体验的质量需求也在快速增长,尤其是在游戏和高分辨率图像处理领域。神经超级采样(Neural Super Sampling,简称NSS)作为一种突破传统图像处理限制的人工智能技术,正引起业界广泛关注。NSS利用深度学习模型实现图像的智能升级,能够在保持细节和稳定性的同时,大幅提升渲染效率,极大改善移动端图形处理的用户体验。本文将详细解读NSS的网络架构、训练过程以及推理机制,帮助读者了解其核心技术和实现细节。传统图像超采样技术依赖于基于启发式规则的方法,如时序超级采样(Temporal Super Sampling,TSS)。虽然TSS在计算效率和抗锯齿效果上表现不错,但其依赖手工调节的方案难以应用到多样化的内容场景,且常见的鬼影、遮挡错误和时间稳定性问题仍未得到根本性解决。
NSS摒弃了这些静态规则,采用数据驱动的神经网络来学习图像特征和运动规律,从而能够更加灵活地应对不同类型的图像内容和动态变化。这种基于机器学习的策略不仅提升了图像质量,也增强了时间上的连续一致性,显著减少了传统方法中的伪影和闪烁现象。训练神经超级采样网络的过程复杂且精细,主要采用循环学习和反馈机制。训练数据包含了低分辨率的540p动态序列图像,每帧对应高质量、16采样点的1080p真值图。通过超过一百帧的时序图像序列,网络能够捕捉并理解运动和图像内容随时间的变化规律。训练输入不仅包括颜色图像,同时涵盖运动矢量、深度信息以及渲染引擎的元数据如相机矩阵和抖动向量。
网络采用时空损失函数,兼顾空间细节与时间一致性;空间损失确保每帧图像保持清晰锐利,细节丰富,而时间损失则避免帧间闪烁与抖动的产生,提升视觉体验的连贯性。训练阶段利用了PyTorch框架,结合了Adam优化器和余弦退火的学习率策略,多样化的数据增强策略帮助提升模型的泛化能力。预处理和后处理则采用高性能计算着色语言Slang实现,量化感知训练过程中引入了ExecuTorch工具,以确保最终模型能够在移动端硬件上高效运行。从网络架构角度来看,NSS采用了四层UNet骨架结构,这种设计具备优秀的空间信息保留能力。通过跳跃连接,使编码器和解码器之间的细节传递更为有效。NSS探索了多种输出设计方案,包括图像预测、核预测和参数预测,在优化性能与视觉质量的权衡后,最终选择了参数预测方式。
该方式通过为每个像素输出一组小参数集合,驱动后续的滤波和样本累积操作,既高效又易于量化,极大降低了带宽压力。网络的输出包括一个4x4的滤波核、一组用于累积和校正的时间系数以及一个隐藏状态张量。隐藏状态作为时序反馈被传递给下一帧的推理过程,帮助网络积累历史信息,增强时间上的稳定性。后处理阶段充分利用网络输出以构建最终的高清图像。首先通过运动矢量膨胀减少历史重投影中的锯齿伪影,然后使用Catmull-Rom滤波进一步降低模糊。4x4滤波核应用于当前帧颜色的抗锯齿处理,稀疏上采样确保将抖动加采样的低分辨率信号平滑映射到高分辨率像素网格中,缺失像素通过内插方法填补。
随后采用预测的参数进行历史帧校正,剔除陈旧信息,最终在色调映射域执行样本累积,以避免亮点伪影的出现。为了确保推理阶段的实时性,NSS设计考虑了移动GPU的计算预算与能效。假定神经加速器能实现10 TOP/s每瓦的能效,并控制延迟在每帧4毫秒以内。整体算法开销约为27 GOPs,实际网络推理操作约占10 GOPs,留有充足空间满足性能需求。早期模拟显示,NSS在1.5倍上采样模式下,运行效率约为ARM ASR的75%,预计在2倍上采样时表现更优。通过减少复杂的启发式计算,NSS实现了显著的性能提升。
质量评估方面,NSS综合应用PSNR、SSIM以及渲染感知专用的FLIP指标。这些客观指标有助于捕捉质量问题,结合连续集成工作流程对测试序列进行回放和性能监控,确保模型稳定性和质量持续提升。在实际应用场景中,NSS表现出优异的稳定性和细节还原能力,尤其在快速运动、局部遮挡及细小几何形体的处理上,显著优于传统非神经方法,例如ARM ASR和AMD FSR 2。同时,NSS对粒子特效的支持无需额外设计反应掩码,大大简化了开发流程。虽然尚无搭载神经加速器的硬件产品面世,但基于目前硬件发展趋势,NSS具备快速实现实时运行的潜力。其训练方法和轻量级网络结构使其能够灵活适配未来移动平台。
同时,借助Vulkan ML扩展的支持,推理过程高效地整合于图形渲染流水线中,进一步优化整体性能。Arm提供的神经图形开发工具包(Neural Graphics Development Kit)和相应的NSS示例代码,鼓励开发者试验和定制该技术。这种开放生态有助于推动神经渲染技术的普及和进步,为移动游戏及图形应用带来更高的视觉体验和系统性能。总结来看,神经超级采样通过巧妙融合深度学习及图形渲染技术,替代了传统基于规则的抗锯齿与上采样方法,不仅克服了其限制,更提升了图像的空间细节和时间稳定性。其创新架构结合时空反馈机制,实现了高效且高质量的图像重建,满足移动端实时应用的严格要求。未来,随着硬件能力的提升,NSS有望成为移动图形渲染的标配技术,助力下一代视觉体验达到新的高度。
。
