认知科学与神经科学领域一直致力于理解动物和人类如何通过经验学习来做出适应性的决策。许多传统的理论模型,如贝叶斯推断和强化学习,虽然提供了重要的理论基础,但由于结构上的简化,难以准确反映生物行为的复杂性,往往需要人为调试,且易受研究者主观影响。近年来,一类新的建模方法——微型循环神经网络(tiny recurrent neural networks,tiny RNNs)被提出,并显示出在揭示认知策略方面卓越的潜力。微型RNNs通过仅使用极少的神经单元,却能够捕获和预测复杂的行为模式,比传统模型更为灵活同时兼具解释性能,为认知决策提供了创新性的视角。 微型循环神经网络的最大优势在于其灵活性和简洁性之间的平衡。相比大型神经网络,微型RNNs参数数量少,减少了过拟合风险,且更便于进行动态系统视角的解读。
这种结构可被看作是状态变量与策略之间的映射,能够用动态系统的语言描述认知过程中的状态演进和行为选择,揭示出隐藏在行为背后的认知机制。而且实验证明,微型RNNs在多个经典的奖励学习任务中均优于等维度的传统认知模型,甚至能够匹配更大规模神经网络的表现。 在广泛采用的奖励学习任务中,动物与人类被要求从可选的行动中选择以获得奖励。这些任务涵盖了确定性和概率性的动作-状态转移、奖赏反转等复杂元素,例如倒转学习任务、二阶段任务以及带有状态转移反转的二阶段任务。微型RNNs通过输入包含前一动作、状态和奖赏信息,不断更新其内部的动态变量,输出给行动选择概率的预测。训练过程中,采用最大似然估计与嵌套交叉验证,有效避免了过拟合。
结果显示,双单元和四单元的微型RNNs在各类任务中不仅实现了更高的精准度,也成功再现了行为的经典统计特征。 为何微型RNNs能够胜出传统模型,归功于它们具备更多自由参数,从而能灵活塑造复杂策略,且在有限的模型结构内自行学习最优的动态更新规则。这与传统强化学习中对价值函数或信念状态的手工设计明显不同,使得对个体的认知策略进行直接建模成为可能。这种方法也显著减少了研究者在模型假设上的主观性,使模型更好地贴近实际行为。 然而,微型RNNs的灵活性也带来了对数据量更高的需求。实验证明,数千次以上的训练样本是达到优异表现的基本保证。
为解决人类行为研究中受限的数据规模问题,研究者还设计了知识蒸馏机制,通过先用多主体数据训练大型教师模型,再利用教师模型的输出指导单个主体的微型学生模型训练,大幅提升了微型RNNs的训练效率和泛化能力。这不仅拓展了微型RNN在认知神经科学和计算精神病学研究中的适用性,还促进了跨主体的认知模型统一。 在模型可解释性的探索上,微型RNNs同样展现独特优势。研究者采用了动力学系统的工具,如相位肖像和向量场分析,深入剖析神经网络内部状态的更新模式。以单维模型为例,通过描绘行动偏好的对数赔率(logit)及其变化率,观察不同输入条件下状态如何演变,能够清晰识别系统的平稳点和吸引子,进而理解学习率的状态依赖特性、选择偏好以及价值计算的新颖策略。例如,在动物的数据中发现,奖励相关的偏好不仅非线性变化,还体现出独特的状态依赖性固执和选择偏差,这些现象在传统模型中鲜有涉及。
多维微型RNN模型借助二维或者更高维的向量场,揭示了更丰富的动态规律。对比传统模型,RNN通常表现为动作值之间存在“漂移至对侧值”的现象,提示未被奖励的动作价值并非简单遗忘至零,而是向另外动作的值发生缓慢运动,这种机制在经典强化学习中尚未充分考察。此外,动态回归技术被用于量化变量间的线性交互,挖掘出奖励对未选动作价值的负面影响、多动作情境下奖励的非均质效应等,这些均为前沿认知策略折射出的真实复杂性。 不仅如此,该研究还将此类微型循环网络应用于深度强化学习领域中的元强化学习代理,比较其与认知模型的动力学表现。结果显示,元强化学习代理的决策机制更接近贝叶斯推断模型而非传统模型基础上的计划模型,揭示了人工智能与生物认知机制间的异同,为理解和构建类脑智能系统提供了基础。 这些发现乃对认知神经科学领域的巨大贡献。
微型RNN的强预测力和解释力不仅为揭示认知功能的内在计算机制提供了新途径,也为个体差异的深度挖掘和精神疾病的计算诊断提供了潜力。其在机制层面的可信度高,可望实现更紧密的认知和神经活动的关联,推动智力障碍等临床问题的研究。 当然,微型RNN的应用也存在一定限制。其所使用的门控循环单元(GRU)在动态表现上虽有优势,但架构的局限性可能对捕捉超复杂行为结构有所束缚。未来研究可尝试其它循环网络架构或者对训练和正则化策略进行优化,以适应更高维度任务和更复杂认知过程的建模需求。 总体而言,微型循环神经网络作为一种创新的认知决策建模工具,完美地融合了模型的灵活性与可解释性,极大拓展了我们探究行为及其神经基础的能力。
它不仅突破了传统认知模型在表征多样行为上的瓶颈,也为理解人类及动物的学习和决策过程、构建智能体认知算法、探索精神疾病认知机制提供了崭新的方法体系。今后,这一研究方向有望在认知科学、神经科学与人工智能等交叉领域,持续释放出深远影响并推动科学发现的浪潮。