近年来,人工智能领域发生了显著变化,尤其是在大型语言模型(LLM)的训练方法上。2018年至2023年,人工智能的主要进展依赖于大规模的预训练,即通过预测下一个词元来进行学习。通过成千上万倍的扩展训练数据,模型的能力得到了显著提升,多个版本的GPT系列便是典型代表。预训练这一时期被称为人工智能发展的黄金时代,它不仅带来了更强的语言理解能力,还为广泛的知识覆盖和多样化任务奠定了基础。尽管如此,自2023年起,科研界和工业界的关注点逐渐转向强化学习(RL),试图在此基础上进一步提升模型的推理能力和执行复杂任务的能力。强化学习因其在解决特定任务中的优异表现而备受青睐,尤其在数学推理、自动化软件工程等方面取得显著突破。
然而,强化学习面临的一个核心问题是极端低的信息效率,这种低效性显著制约了其进一步扩大规模和实用性。 首先需要了解的是预训练和强化学习的本质差异。预训练过程中的每一次预测,模型基本上都在接收一个完整的信息单位 - - 一个词元所承载的信息量。以GPT-3为例,其词元库约有5万个,意味着每个词元约包含16比特的信息,这是对信息容量的理论最大估计值。实际上,随着模型训练的深入,预测的难度逐渐降低,信息含量也会出现递减。总体而言,一个词元在训练期间平均携带约3比特的信息,这代表了一个相当高效且持续的信息输入过程。
与之相对,强化学习的状况则大相径庭。强化学习训练通常依赖于非常长的推理链条,可能包括数万乃至百万级别的词元输出,而整条链仅反馈极少、甚至不到一比特的信息奖励。这种稀疏的反馈机制对模型而言,学习效率极其低下,也就是所谓的信息利用效率极差。通过对具体案例的分析可以发现,强化学习每产生一个词元所带来的有效信息少得令人吃惊,甚至下降到预训练的百万分之一量级。 深化这种理解,则可见强化学习为何在拓展模型能力时遭遇瓶颈。随着任务复杂度的提升,尤其是涉及长时间、多步骤推理的任务,强化学习所需的反馈周期大幅延长,每次训练迭代能够获得的真实有效信息频度变得极低。
这使得模型的训练速度大大放缓,除非投入极其庞大的计算资源,否则难以突破当前性能瓶颈。同时,由于强化学习依赖于对特定任务精准的反馈信号,训练过程更偏向于针对狭隘目标的深度挖掘,而非多维度知识的广泛吸收和迁移。这意味着强化学习训练的模型可能在某一任务上表现卓越,但在任务以外的泛化能力较弱,难以展现出像预训练模型那样的广泛通用性。 这一现象得到业界多方验证。以DeepMind在Atari和围棋游戏领域的强化学习代理为例,尽管表现出超越人类的专家级能力,但其通用性和转移学习能力却十分有限。相比之下,预训练模型通过海量多样化文本的学习形成了令人惊叹的知识广度和多领域技能,这为通向通用人工智能(AGI)铺路。
然而,预训练模型在提升超越人类水平的能力时往往会遇到天花板效应,因为它们的学习过程依赖于人类生成的数据,难以实现真正的突破创新。强化学习正是在此背景下被寄予厚望,期望通过长任务和稀疏奖励机制提升机械推理和自主决策能力。但其本质的低效信息收益意味着要实现质的飞跃需付出极大的计算代价和时间成本。 此外,从信息论角度来看,强化学习任务的反馈信息天然有限。通常情况下,许多强化学习任务的奖励信号本质是二进制的 - - 成功或失败,约等于一比特的信息。在实际训练中,模型成功率如果接近于极端值(成功率接近0%或100%),奖励的信息熵将更低,这进一步压缩了学习所能获得的有效信息量。
虽然存在尝试利用更精细量化奖励(如32位浮点数奖励)来提升反馈信息量的做法,但实际中模型从中提取的可用信息依旧有限,且如何设计合理的反馈机制也是一大挑战。 信息效率的差距不仅体现在模型训练速率的不同,也直接影响模型规模与数据的匹配。以GPT-4为例,其参数数量及训练数据规模表明模型已接近从预训练信号中吸收的极限信息量。相比之下,强化学习阶段加入的新任务训练虽然提升了模型的某些领域能力,但其信息输入量有限,难以显著增加模型整体的知识深度和广度。这种"深度不够,广度受限"的困境,将影响AI系统在未来面对复杂、多变社会需求时的适应性和泛化能力。 强大的泛化能力是通用人工智能的核心,也是预训练带来的革命性突破。
它让模型在大量未见数据和新领域依然表现出色,极大地推动了AI应用的宽度和深度。强化学习所带来的特殊能力提升尽管重要,却往往无法覆盖如此广泛的领域,也难以展示跨任务的迁移能力。因此,当AI研发进一步依赖强化学习规模扩展时,我们可能会看到整体能够快速获得新技能和突破的速度放缓,更加专注于局部任务的优化和细节提升。 从开发成本角度,也不能忽视信息利用效率的差异带来的影响。强化学习需要的计算资源和时间远高于传统预训练,尤其是当训练目标涉及长推理链和复杂决策时,资源投入呈指数增长。高昂的算力需求和能耗问题不仅对研究机构构成巨大挑战,也限制了强化学习技术的推广和普及。
此外,由于强化学习后期训练依赖于推理计算,其部署成本显著提升,增加了实际应用中的经济负担和技术风险。 尽管如此,强化学习并非绝对负面。它在某些狭窄的、高复杂度任务上依然展现出无可替代的优势,尤其是在需要高度精确控制和战略规划的领域。人工智能的发展极有可能是多种训练范式的融合,利用预训练奠定知识和语言基础,再通过强化学习等技术深化特定能力。为了应对信息效率低下的问题,未来研究方向也可能集中于优化奖励设计、引入多阶段训练及增强反馈信号的丰富度,以最大限度提升强化学习的效用和效率。 总的来说,强化学习在当前前沿模型训练中呈现出的极端低效信息利用率,是对人工智能训练思路的一次重要提醒。
随着AI技术进入更高复杂度和自主性的发展阶段,单纯依赖强化学习的路径不仅成本高昂,也面临泛化能力和训练深度的双重局限。理解这一本质,有助于引导整个行业更合理地分配资源,设计混合优化的训练策略,平衡深度与广度,提升未来AI系统的实用价值和发展潜力。未来人工智能的蓬勃发展,还需在训练方法的创新与效率提升上持续发力,方能突破现有瓶颈,推动技术跨越式前进。 。
