近年来,人工智能的发展尤其是在自然语言处理领域取得了令人瞩目的成就。以大型语言模型为代表的AI技术,像ChatGPT,其影响力日益广泛,深刻改变着人们的工作和生活方式。然而,尽管这类模型表现卓越,它们的内部工作机制依然充满神秘,外界对于它们"为什么"如此有效以及"如何"实现这些能力的理解远不足够。哈佛大学Kempner研究所的研究员Naomi Saphra对此提出了独特的见解,主张通过追溯模型的"进化史" - - 训练过程中的细节变化,来更全面地解读AI的运作方式。 Saphra认为,要真正理解现代AI,不能仅仅停留在观察模型训练完成后的状态,而应当像生物学家研究生物体必须结合其进化历程一样,关注AI模型在训练中如何逐步演变。她引用遗传学家Theodosius Dobzhansky的名言"没有进化就无法理解生物学",并为AI领域量身定制理解原则:"没有随机梯度下降的过程,就无法理解人工智能"。
随机梯度下降算法是训练大型语言模型的核心机制,它通过不断调整连接权重,让神经网络从大量语言数据中捕获模式与结构,从而产生流畅的语言生成能力。 大型语言模型基于神经网络,这种数学结构模拟了大脑神经元之间的连接。训练时,模型最初的连接强度是随机的,经过数以万亿计的微调,通过预测句子中的下一个词,从而在无数步骤中逐渐形成复杂的内部结构和规则,使其具备处理未知输入的通用能力。大多数解释性研究着眼于训练完成后模型的结构特征,试图揭示"模型内部是如何运作"的机制。相比之下,Saphra强调训练动态的重要性,解读"为什么模型会那样工作"的因果根源。 训练过程中,不同初始条件和微小变化都可能塑造模型的发展方向,类似于生物进化中微小基因突变带来的巨大物种差异。
Saphra利用多次训练的随机性,探究模型结构和表现行为之间的因果关联,通过对比不同训练周期、模型参数调整和中间检查点的数据,发现某些看似重要的特征可能只是训练过程遗留下的"残余",而非真正关键的功能部件。她指出,单纯在训练结束后对激活神经元的观察与干预,往往会误导研究者,使其对模型的理解走入误区。 Saphra的研究也揭示了训练初期的影响力。模型有时会倾向于"捷径",追随简单的模式解决问题,如果早期任务过于简单,反而可能陷入局限,难以适应更复杂的语言环境。这就像在生物进化中某一阶段若进化策略过于单一,会限制未来适应性的多样性。她的经验来自早年训练神经网络处理社交媒体非正式文本时遇到的挑战。
选择如何设计训练任务的顺序、数据选择和参数调整,对于模型的最终表现影响巨大。这种动态发展过程的研究不仅为理解现有模型揭开面纱,也为未来设计更高效、更具泛化能力的人工智能提供指导。 另一方面,Saphra作为一个身患神经系统疾病、失去打字和手写能力的研究者,也以自己的经历展现了科学探索背后的韧性与独到视角。她绕过传统科研竞争的压力,专注于相对冷门但意义深远的训练动态课题,这让她避开了研究"潮流"的喧嚣,却发现了理解AI的新大陆。她强调,研究不必被速度和数量驱动,更重要的是深度和准确性。AI的复杂性和不确定性需要研究者拥有耐心和细致的观察力,才能真正捕捉到模型背后的本质。
当下,AI可解释性(interpretability)研究日益火热,但大部分研究仍聚焦于已训练完成的模型,试图剖析内部神经元的功能和激活模式。然而,这样的"如何"解释往往不能揭示"为何"这样的机制演化而来。Saphra认为,理解模型的因果关系需要结合训练轨迹和动态演化视角,才能厘清哪些构造是真正驱动能力的关键,哪些又是历史遗留的副产物,有时甚至是限制性能的负担。她举了神经元选择性的例子 - - 虽然某些神经元对特定类别视觉刺激表现出高度选择性,但阻止这些神经元形成反而能提升模型的整体性能,说明我们对神经元功能的直觉可能是错误的。 从更广泛的角度看,Saphra的观点提醒我们,AI不是一组静态的机械结构,而是一场持续进化的过程。仅仅研究终点状态无法反映其历史积累的复杂性。
她呼吁科研社群开发更多开放的数据和工具,以便追踪和分析模型训练中的中间状态,克服当前对专有模型内部信息的封闭限制。只有深入训练流程,结合统计学质变分析和因果推断方法,才能真正掌握大型语言模型的行为内涵,预见其在面对新任务和环境时的表现。 未来,随着AI技术不断迭代升级,训练动态的研究无疑将成为核心关注点。理解大型语言模型如何一步步形成语言理解和生成能力,不仅有助于提升模型设计的科学性,也对AI安全、可控性和公平性研究意义重大。通过透视训练过程的微观变化和宏观演化,科研人员能够设计出更透明、更可靠和更具人类价值观的人工智能系统。 综上所述,掌握人工智能的秘密关键并非仅仅停留在终点的成果展示,而在于深入观察和理解其成长蜕变的全过程。
正如生物学研究中进化理论的核心地位,人工智能研究也需以随机梯度下降及其训练轨迹为视角,才能揭示复杂语言模型背后隐藏的原理。随着Saphra和众多学者继续开拓这一领域,我们期待未来AI的发展更加清晰可控,成为推动社会进步的强大动力。 。
