仅需67美分:小型Transformer如何在ARC-AGI-1测试中达到44%准确率

加密货币的机构采用

在人工智能快速发展的今天,一个令人震惊的消息在研究社区引发了广泛讨论。来自印度的工程师Mithil Vakde成功使用一块RTX 5090显卡,在短短1.5小时内从头训练了一个小型Transformer模型,在ARC-AGI-1基准测试中达到了44%的准确率,而整个过程的花费仅仅为67美分。这一成就不仅打破了人们对深度学习成本的固有认知,更为样本效率研究开辟了新的可能性。ARC-AGI是一个专门设计用于测试人工智能流体智力的基准测试,由知名人工智能研究者Francois Chollet创建。与传统的基准测试不同,ARC-AGI的每个谜题都使用不同的规则,需要模型具备真正的学习和推理能力,而非简单的模式匹配。该测试包含约1000个谜题,每个谜题都包含输入网格和输出网格的例子,模型需要根据这些例子推断出正确的转换规则。

这种设计使得ARC-AGI成为测试样本效率的理想选择,因为模型必须从极少的样本中学习新概念。Mithil Vakde的这项工作之所以引人注目,首先在于其极低的成本。在当前人工智能研究动辄需要数千美元计算费用的背景下,67美分的成本几乎可以忽略不计。这位来自印度理工学院孟买分校工程物理专业的毕业生,通过优化训练流程和使用高效的硬件配置,实现了这一惊人的成本控制。他使用了一块消费级的RTX 5090显卡,通过云端计算平台vast.ai租用,2小时的费用约为2美元,加上其他杂项开支,总成本控制在了67美分左右。从技术角度来看,这个模型的核心在于其独特的训练方法。

传统的深度学习模型通常在大规模数据集上进行预训练,然后针对特定任务进行微调。而Mithil的方法则是在测试时进行训练,即当模型遇到新的ARC谜题时,会同时在训练集和评估集的例子上进行短暂的训练。这种测试时训练的方法使得模型能够快速适应每个独特的任务,充分利用该基准测试的元学习特性。模型架构方面,这个小型Transformer采用了现代的设计选择。使用了SwiGLU激活函数替代传统的GELU,采用RMSNorm而不是LayerNorm,这些改动虽然看似微小,但在训练效率和最终性能上都带来了显著提升。网络深度从之前的4层增加到8层,使其具备更强的表示能力。

最关键的是引入了三维旋转位置编码和任务特定的嵌入向量,这些创新对于跨任务学习至关重要。三维旋转位置编码能够更好地处理网格状的空间结构,而每个谜题独特的嵌入向量则帮助模型区分不同的任务。值得注意的是,在最新的44%结果中,模型不再在输入token上进行训练,损失函数仅包含输出token。这一改变使得方法更加接近监督学习,虽然从直觉上看似乎应该降低性能,但实际结果却相反,分数从之前的40%提升到了44%。这一现象目前还没有得到完美的理论解释,研究者推测可能与模型容量有限有关,当模型容量受限时,专注于输出预测反而能带来更好的泛化效果。成本降低的关键因素包括多个方面的优化。

首先是大幅减少了数据增强的使用量,这不仅降低了计算成本,还提高了样本效率。其次是将优化器从AdamW更换为NorMuon,这是一个相对较新的优化器,在保持训练稳定性的同时提高了效率。此外,通过使用flash attention和varlen训练等高级特性,显著加速了训练过程。值得注意的是,模型还使用了颜色和二面体置换的数据增强,但这些增强是动态在线生成的,而非预先计算并扩展数据集。在数据集方面,研究者巧妙地利用了ARC-2中与ARC-1不重叠的347个新谜题来扩充训练数据。为了确保公平性,他们仔细过滤掉了与ARC-1重复的773个谜题,避免任何形式的数据泄漏。

如果不加入这些额外数据,模型仍然能够达到约40%的准确率,但计算成本会翻倍。这种谨慎的数据使用方式体现了研究者对科学严谨性的重视。将这个结果与其他方法进行比较,我们可以更清楚地看到其意义。传统的语言模型如GPT系列在ARC-AGI-1上的表现取决于其训练数据量,而那些专门针对ARC任务进行大量合成数据训练的模型则占据了排行榜前列。然而,Mithil的方法证明了,在不依赖大量外部合成数据的情况下,纯粹的深度学习方法也能达到与之相当的水平。更重要的是,这个结果是通过从头训练实现的,没有任何预训练阶段,这进一步凸显了样本效率的潜力。

从更宏观的角度来看,这项工作对人工智能研究领域有多重启示。首先,它证明了样本效率这一核心问题可能在现有深度学习框架内就能得到有效解决,而非需要全新的范式突破。其次,极低的成本意味着更多的研究者和机构能够参与到这一领域的探索中来,加速创新的步伐。传统上,高昂的计算成本一直是阻碍小规模研究团队进行深入实验的主要障碍,而这项工作展示了在有限资源下也能取得突破性进展的可能性。对于ARC-AGI基准测试本身而言,这个结果也带来了新的思考。该测试长期以来被认为是检验人工智能流体智力的重要工具,但高昂的计算成本和复杂的技术要求限制了研究的普及。

现在,研究者证明了即使是消费级的硬件和有限的预算,也能在这一基准上取得有意义的进展。这为更多研究者参与相关工作创造了条件,有望加速整个领域的发展。当然,这项工作也存在一些局限性需要注意。模型训练是在所有测试任务上同时进行的,这在某些应用场景中可能不够现实。虽然其他方法如TRM和HRM也采用类似的做法,但这种训练模式与人类通常一次处理一个问题的方式存在差异。此外,虽然模型达到了44%的准确率,但距离人类水平的接近100%仍有相当距离,说明当前方法仍有改进空间。

展望未来,这个研究团队已经设定了更具挑战性的目标。他们认为在现有Transformer框架内达到65%的准确率是完全可行的,并鼓励其他研究者尝试突破这一门槛。具体的技术改进方向包括探索更好的位置编码方法,如用PoPE替代当前的RoPE,或者发明全新的位置表示方式。架构的进一步现代化改造也可能在保持低成本的同时带来性能提升。此外,如何完全消除对数据增强的依赖也是一个值得探索的方向。这项工作的另一个重要贡献是对当前人工智能研究范式的反思。

研究者在文中指出,当今许多样本效率研究过度关注在小型数据集上达到最低验证损失,而这种方法可能导致次优的泛化能力。他们的实验表明,即使测试损失略有上升,最终的任务性能仍可能更好,这提醒研究者需要关注真正重要的指标而非简单的损失函数值。从历史的角度看,ARC-AGI作为一个高调且带有百万美元奖金的基准测试,在长达六年的时间里一直未被饱和,这本身就值得深思。研究者认为,这可能反映了整个领域对纯深度学习方法的低估,或者是由于实验成本过高导致研究者无法进行充分的消融实验。无论原因是什么,这个44%的结果都证明了一个简单直接的Transformer方法就能取得令人瞩目的成绩。总的来说,Mithil Vakde的这项工作不仅是一个技术突破,更是对整个人工智能研究社区的启发。

它提醒我们,在追求更大模型和更多数据的道路上,样本效率这一根本问题同样值得深入探索。67美分的成本和1.5小时的时间,让人们看到了在资源受限条件下进行前沿研究的可能性。随着更多研究者的参与和更多创新的涌现,我们有理由相信,人工智能的样本效率问题将在不远的将来得到更好的解决。 。