随着人工智能和神经科学的快速发展,脑启发式的计算模式逐渐成为未来计算体系的研究热点。传统数字计算架构在耗能、延迟及处理效率上面临诸多瓶颈,尤其在处理高维度、时空复杂数据时,其性能表现受到限制。脉冲神经网络作为第三代神经网络,凭借其以脉冲为载体的稀疏异步信息处理方式,展现出与生物大脑相似的计算特性和能效优势。然而,脉冲神经网络的训练和高效实现一直是学界面临的重大挑战。近日,时空协变感受野模型的提出为脉冲神经网络的时空信号处理与学习打开了新的方向。 时空协变感受野融合了空间仿射变换、Galilean变换和时间尺度变换的数学对称性,基于复杂的尺度空间理论和生物视觉系统的感受野设计,搭建起一套理论严密且具备生物可实现性的神经原语。
借助于仿射高斯核的空间卷积以及时间上的泄漏积分器和泄漏积分发火模型,时空感受野能够在空间和时间维度上保持对自然图像变换的协同性和等变性,从而实现对多尺度、多速率视觉信号的鲁棒编码。这种理论基础使脉冲神经元能在面对复杂的事件驱动视觉数据时,天然具备尺度和速度变换的适应能力。 从计算机视觉角度看,事件摄像头等新型传感器产出的数据本质上是稀疏而异步的时空事件流。传统基于帧的视觉算法很难直接有效地处理此类数据,脉冲神经网络提供了天然的适配路径,但训练难度和性能劣势一直限制其实用化。时空协变感受野通过为脉冲神经网络提供强有力的先验初始化,使网络初始状态即具备基于尺度空间理论的多尺度时空滤波功能。这一点对于加速训练过程、提升泛化能力尤为关键。
实验证明,在事件驱动的目标追踪和定位任务中,采用该感受野初始化的脉冲神经网络显著优于随机初始化的模型,尤其在处理时间尺度变化时表现出更强的鲁棒性和准确率。 时空协变感受野的设计灵感源自哺乳动物视觉皮层中简单细胞的时空感受野结构,其空间部分由仿射高斯导数核组成,支持对齐方向、尺度以及空间变换的自然编码;时间部分通过级联的时间漏积分器实现因果性的时间滤波,兼具平滑和延迟特性,且符合同源性原理。此种结合不仅增强了时空信号的表达能力,也保证了其在图像空间及时间轴上对移动、变形及加速等复杂变换的等变性,使得模型在处理运动检测及速度推断等问题时具备天然优势。 在数学层面,感受野模型建立了空间协变矩阵、时间尺度参数以及速度矢量之间的严格对应关系,实现空间姿态以及时间尺度的统一处理。空间仿射变换通过协方差矩阵映射,时间尺度通过平方关系传递,速度通过加权调节。该框架遵循尺度空间理论中的平滑和非产生新模式原则,避免过度拟合,使得模型不仅对图像的局部分辨率发生变化敏感,也对时间尺度缩放具有良好适应能力。
在应用层面,时空协变感受野已在模拟事件摄像头生成的稀疏视听信号上取得显著成功。通过构造多尺度时空间接收场和相应的脉冲神经网络架构,实验展示了对象位置回归任务中的训练稳定性和预测精度的提升。模型在面对加速运动的物体时表现尤为出色,能够从极为稀疏的事件中提取有价值时空特征,实现实时且高效的事件跟踪。 此外,使用时空协变感受野初始化的脉冲神经网络普遍呈现出时间常数分布的稳定性,训练过程中参数波动小,说明先验知识引导了参数搜索空间,避免陷入劣质的局部最优解。对比传统ReLU激活的单帧及多帧模型,时空协变模型的时序动态处理能力极大增强了模型的鲁棒性,在事件稀疏度高的环境下依然能有效捕捉运动信息。 从理论研究到工程实现,时空协变感受野同样为神经形态芯片设计提供了直观原则。
结合神经形态中模拟电路的泄漏电容和阈值发火机制,感受野定义的滤波器参数直接指导硬件滤波器设计,使得硬件层面即包含原生的时空尺度适应能力与变换协同性,进而大幅提升功耗效率和处理延迟,推动下一代嵌入式边缘智能芯片的发展。 未来,时空协变感受野的理念或将延伸至更广泛的神经模型领域,例如Hodgkin-Huxley模型、Izhikevich模型以及Fitzhugh-Nagumo模型等复杂生物神经元实现,将不断增强模型的生物真实性与计算能力,并拓展到记忆系统、神经控制以及自适应强化学习等多领域。此外,结合深度学习中群等变理论的发展,将出现更系统的可解释性强、泛化能力优的时空处理框架,助力人工智能与神经科学的深度融合。 总结来看,时空协变感受野为脉冲神经网络的时空信号处理构建了坚实的理论与方法基础。其对自然图像变换的数学适应性及生物启发的神经元模型实例,使神经形态计算具备更优的训练效率和实时性能,为事件驱动视觉系统及其应用体系注入新的活力。高效的尺度空间编码不仅提升算法性能,更有望推动低功耗智能感知设备的广泛普及,开启神经形态计算新时代的崭新篇章。
。
