近年来，语言模型的规模和能力成为人工智能领域的重要风向标。自2017年Transformer架构问世以来，前沿语言模型经历了参数规模惊人的扩张过程。从最初的117百万参数到2020年代初的1750亿参数，再到最新一代的数千亿级模型，参数数量曾呈指数级增长，带来了前所未有的性能提升。然而，2023年却出现了一种反转趋势：顶尖语言模型的参数规模开始明显缩小，取代此前不断增大的趋势。这一变化引发了业界及学术界的高度关注，围绕其原因和未来发展进行了广泛探讨。本文将详细解析导致语言模型规模收缩的多重因素，并展望未来的可能走向。
首先，观察前沿模型规模变化的事实基础非常关键。公开的模型权重显示，目前性能卓越且获得广泛认可的大型开源模型，如Mistral Large 2和Llama 3.3 70B，参数数量分别约为1230亿和700亿，明显比之前主流的GPT-4（约1750亿参数）要小。更令人关注的是，闭源商业模型的推测数据也支持这一点。以2024年11月发布的GPT-4o为例，其推理速度达到每秒100-150个输出令牌，成本却远低于GPT-4 Turbo和原版GPT-4，暗示其规模远小于原始GPT-4。另一款Anthropic公司的Claude 3.5 Sonnet虽然尺寸较GPT-4o大，但估计也只有约4000亿参数左右。 那么，为何语言模型在规模上呈现明显缩水趋势？这一现象的背后有多个关键原因。
首先，2023年之后AI产品需求激增，特别是在GPT-4推出及ChatGPT爆红后，推理计算需求远超预期。推理成本在整体运营支出中的占比陡增，促使开发者重新考虑模型设计策略。从2020年至GPT-4发布前，模型训练主要遵循以最小化训练计算量为核心的扩展法则，推崇增加参数以提升表现。然而当推理成本成为制约因素，选择较小但过度训练（overtraining）的模型更为经济有效，即用更多数据训练较小模型以达到相同效果。这一调整反映在Llama 3 70B相较Llama 2 70B的升级上，训练数据量明显增加，却未显著扩大模型体量。 此外，蒸馏技术的广泛应用极大提升了小模型的表现力。
蒸馏是通过让小模型学习大模型输出的知识，实现性能大幅提升而无需增加参数。简单而言，就是用大模型生成高质量合成数据训练小模型，或者利用大模型的内部状态提升小模型逼近能力。业内推测GPT-4o和Claude 3.5 Sonnet都极可能经过复杂蒸馏流程，使其参数规模缩减的同时保持甚至超越早期大模型的性能。 另外，前沿语言模型的训练指导原则也发生转变。从Kaplan扩展定律（强调更多参数）转向Chinchilla定律（推荐增加训练数据量而非单纯参数扩展），加速了模型“小型化”趋势。Chinchilla定律提醒我们，适当缩减参数，增加训练数据，能够用相同甚至更少的计算资源获取更优性能，这一理念逐渐为开发者接受并付诸实践。
推理阶段的计算需求增长，同样促进了小模型的兴起。随着推理时长上下文的增加以及复杂推理需求的崛起，模型生成令牌的速度和延迟成为用户体验关键指标。较小模型在同等硬件预算下可以实现更快的响应时间和更低的运行成本，这激励实验室采用测试时计算资源缩放策略，更激进地压缩模型体量以追求更高推理效率和推理质量的平衡。 值得注意的是，合成训练数据的使用也促使模型规模下降。与依赖网络数据爬取不同，利用大模型生成高质量合成数据进行自监督训练，可以在保持合适参数规模的同时显著增加训练计算量。这不仅遵循Chinchilla定律的优化路径，也为模型高效汲取知识和技能创建了新机遇。
相较于无限扩展参数，合成数据使训练更加灵活高效，合理提升了模型质量。 这些驱动力综合起来，造就了当下规模小但性能强劲的前沿语言模型局面。然而，未来模型规模是否会持续缩小？从现有研究与行业动向看，持续缩小规律暂难维持。Kaplan与Chinchilla定律间转换是一次性调整，爆炸式需求增长也可能趋于平缓。合成数据和测试时计算优化尚未全面普及，而未来硬件进步将在更大规模模型服务效率上带来突破。 此外，在相同推理预算下，更大模型往往展现出更强的长期文本连贯性和复杂推理能力。
小模型面对长上下文和综合性任务可能表现不佳，难以完全替代大模型优势。长远看，下一代语言模型如GPT-5和Claude 4预计将逐步回归或超越GPT-4规模，实现性能与规模的新的平衡。 更宏观的视角看到，硬件持续发展支持多倍规模扩张成为可能。理论上，规模达到千亿乃至万亿参数的模型若能有效运营，将极大扩展AI应用边界。然而这需要模型带来足够显著的经济价值以覆盖高昂的推理开销，否则其商业应用难以普及。市场和用户预算现实限制了极大规模模型的普适性，促使模型规模在高效性和性能之间寻求最佳折中。
总结来看，前沿语言模型规模最近一路“缩水”并非偶然，而是各方面因素共同驱动的结果。过度训练、蒸馏、数据驱动的训练优化及推理计算考量共同塑造了这一新时代特征。未来几年内，模型规模可能保持相对稳定或缓慢增长，不再是单纯参数数量的竞赛，而更关注整体效能、成本与应用场景的深度匹配。对于从业者、研究者以及业界观察者而言，理解这一趋势及其驱动因素，有助于更准确把握AI技术发展的脉络与机遇。 人工智能语言模型的未来是技术和经济共同塑造的复杂生态。如何利用合适规模的模型创造最大价值，是影响AI产业未来格局的关键所在。
在这一过程中，模型“小而精”或“大而全”将持续共存与演化，驱动人类科技进步进入下一个新纪元。
![Basic and Necessary Tooling for Creating FPGA Retro Hardware Game Cores [video]](/images/D0FF5B7B-6B98-4F2B-BD5E-5C929917E02D)
