在大语言模型从实验室走向产业应用的漫长历程中,一个充满悖论的难题始终困扰着整个人工智能界。我们在前训练时代,曾极其幸运地碰到了预训练数据公地这一意想不到的宝库。构建这些大语言模型所必需的庞大语料,并非偶然散落在网络的角落,而是人类百年来自觉创造并逐渐数字化而形成的巨大公共记录的直接产物。维基百科的编辑者们精心拼凑出人类有史以来最详尽的百科全书,活跃的开源运动积累了几 petabytes 的软件源代码,Stack Exchange 社区花费十余年光阴进行着提问、辩论和精心的策展,科学家们将学术成果上传至 ArXiv,而 Project Gutenberg 甚至几乎与互联网同龄,编撰了海量版权外书籍的数字版本以供大众获取。当然,数十亿用户也在网上发表评论、创作小说,甚至偶尔散布谎言。诸如 Gutenberg、Internet Archive、Wikipedia、ArXiv 以及 Stack Exchange 这样的项目,是自觉构建数字知识公地的伟大尝试。
而 Common Crawl 自二十多年前开始,定期归档互联网相当大子集的快照并免费向公众开放。如今,Common Crawl 归档的数据规模已达十 petabytes 之巨。正是这种庞大的知识公地,为大语言模型革命奠定了基石。GPT-3 训练中使用了大约百分之六十的数据来源于 Common Crawl 衍生数据,最初的 Llama 数据混洗几乎完全提取自互联网公地。将原始网页转化为模型可消化的数据块并非易事,网页极其杂乱,且一大半是旨在欺骗搜索引擎爬虫的垃圾信息,但熟悉此过程的研究人员仍在不断致力于过滤、HTML文本提取、老旧文档光学字符识别以及合成重写等工作。显然,当主导的巨头们似乎已经转向自家的定制爬虫,现代开放的大语言模型如 Nemotron 以及我们自身,依然严重依赖此公地作为其绝大部分预训练数据。
没有了持续对这个公地的访问权,真正开放的大语言模型便无法存在。 然而,前沿人工智能研究的焦点现已转向后训练,尤其是所谓的智能体人工智能。正如前训练需要海量的计算和数据一样,后训练同样如此,但它并没有同样现成的原始数据库存放。简而言之,后训练数据公地是不存在的。这种根本差异在于:前训练消费的是文档,而后训练消费的是任务。但这里的任务本身就是一个高度抽象的概念。
用于后训练强化学习的任务,并不是人类在世界中实际执行的任务。人类的任务存在于特定的时刻。某人想要某物,他们在世界中行动以获取它;世界做出回应;目标随着学习而改变;最终他们成功了,失败了,或者改变了目标。一旦尝试过,任务就消失了。相同条件绝不会再次出现。从这个意义上讲,人类任务回声于口头文化:一个口述的故事既是事件也是对象。
故事的讲述随讲述者、受众和场合而改变,写下来虽使其持久且可重复,却冻结了单次讲述。将人类活动编码为强化学习任务,做了一件类似的事。RL 任务被冻结、程式化和可读,人类世界的任务是自适应的、条件、转瞬即逝的。一次情境行动的经历被转化为了一个可以反复执行的对象。 对于 RL 任务,我们必须保留至少三个组成部分:一个世界、一个意图以及一组与世界交互的工具。对于强化学习,我们还需要一个评估器,它观察智能体行为的成果并决定意图是否得到了满足。
人类花费数千年构建围绕持久化知识的机构:书籍、图书馆、档案和互联网。我们在使行动持久化方面时间少得多,发展的基础设施也少得多,除了一个极其重要的例外:软件。软件工程在很大程度上是编写任务的过程。工程师花了数十年将工作转化为持久化的制品:保存世界,记录意图,并留下采取行动的痕迹。难怪智能体 AI 首先冲击了软件领域。计算机围绕确定性构建,重启计算机除书面信息外状态基本干净 slate,这对 RL 极适合。
数十年间软件深化确定性:版本控制保存程序演化,持续集成和形式化单元测试库记录执行步骤,虚拟机和容器封装受控世界,尽管不完美软件同样在流动 Bits rot。尽管存在局限,开源软件创造了保存世界和行动的公地。但是,将软件仓库转化为后训练数据不像审阅更像制造,缺失信息可能从未被记录。 要构建任务需世界、工具、意图、评估器。开源软件公地理论上提供全部:世界是仓库及其依赖和构建机制,工具是 shell、编译器等,意图从 GitHub issue 或 PR 恢复,评估器是测试是否通过。这基本就是 SWE-bench 框架,却出人意料地困难又过于简单。
爬取 12 个 Python 仓库共 9 万+ PR,仅约八分之一的能映射框架:未合并、无关联 issue、或未改测试。剩余 11,407 中约八十%无法转可执行任务。最终得 2,294 任务。一年后 OpenAI 推出 SWE-bench Verified,雇佣 93 名专家审查 1,699 任务,三分之二剔除,500 个验证池。但后续审计发现六分之一仍有缺陷。TaskTrove 分析,5000 个 Java 任务中超九成必须丢弃修复,Python 近九成八验证器包因依赖缺失无法启动测试。
制作好任务是困难的。软件只是容易的案例!若连沙盒和无预设测试的任务都如此艰难,经济其他部分多难?前沿 AI 公司如何可靠地将律师、医生等经济上有价值的活动编码为正式可重复任务?经济其他部分连初始公共任务公地都不存在。前沿实验室怎么办?付律师、医生等将工作适配 RL 任务框架,创造成务、环境、评估器和模拟器。后训练数据产业快速扩张。开源社区怎么办?没有公地可爬,后训练公地须始于大规模系统性铭刻:转化人类任务为 RL 任务。这非易事。
前训练公地中大部分原本在大致正确形式生产,publish 网页、代码出于其他目的,背后人类活动大多已消失。幸运的是不是从零,开源公地是部分铭刻任务宝库,文档带跟踪更改、日志、程序,智能体亦能从输出痕迹重建任务铭刻。在另一种解读中,一切归结为需尽快建大量 RL 环境。深层是人类任务决定系统铭刻哪些活动并构建机构。该方法指向 GDPval 等项目路径。经济中可铭刻任务自动化不可避免,问题是成否变少数公司私人资产,而非大众共享公地。
随着 AI 执行更多人类工作后,开发控制这种能力成巨大权力。若少数公司聚集必要任务和环,决定 AI 能做工作和受益者,权力集中。公地让大学、非营利、独立研究者发展大模型公司不优先的能力,赋予参与塑造 AI 发展和政策规范的权利。否则,我们冒将 perhaps the most consequential technology in generations 让渡给少数巨额财阀风险。前训练幸运,Wiki 和 SE 人不作训练数据,只做自己想存在的东西。但没人愿意把税务律师工作铭刻进可重现环境。
如有公地,须 know its purpose and cost。这更困难,也意味着首次公地是我们选择建的。 。
