引子 近年来围绕"Bitter Lesson(苦涩教训)"的讨论从学术圈扩散到技术与社会层面。理查德·萨顿提出的"苦涩教训"本意是强调普适的、依靠计算与通用方法的进步往往胜过手工设计的领域知识。近来的争论将焦点引向了大规模语言模型(LLM)以及它们通过"下一个词预测"所进行的模仿式学习:这是对人类行为的简单统计复制,还是一种值得沿用的继承式智能策略?安德鲁·特拉斯克等人提出了"苦涩教训的苦涩教训",提醒我们不要忽视从人类演化与文化传承中继承知识所带来的巨大计算优势。 问题的核心并非谁对谁错,而在于理解两种学习范式的本质代价与互补性。若把演化与文明看作是数十亿年间、数以十的30次方计生物并行试验的压缩结果,那么人类语言、文本和制度就是对这些试验成果的高密度编码。训练LLM并不是在"模仿人类"这一道德或哲学上的简单复制,而是在高效地利用文明遗产中已经算好的"样本"。
放弃这种继承,回到从零开始的纯粹经验学习,代价极高且在现实中不可行。 计算现实与尺度差异 对争论有直观帮助的是量级的思考。演化与文化传承所消耗的计算可以用极其庞大的操作数来估计:如果把地球上数十亿年的神经活动、行为试验和文化累积折算为等效计算量,数值可能远超现代AI训练所能使用的算力。与此相对,当前领先模型的训练量级大约在10^26次操作;而重做演化过程可能需要超过10^50次操作。这样的比较并不是为训练模型的合理性背书,而是为了说明继承知识的独特价值:我们在数据中得到了已经被筛选、压缩并具有高度适应性的经验。 广播与广泛倾听:人类的创新发明 人类文明在信息传递方面做了两件根本性发明:广播(把个体的经验传递给众人)和广泛倾听(个体综合大量信息以得到更好的世界模型)。
语言、书写、印刷术、互联网都是放大这两种能力的技术。科学家不会从头发明微积分,工程师不会重新发明轮子;他们在已有知识的肩膀上前进。LLM作为一种"广泛倾听"的工具,其价值在于把分散在文本中的集体智慧进行整合,提供对复杂概念的统计表征。 然而现在的LLM只"听"到了互联网上的一小部分声音。常被引用的训练数据规模大约在数百TB,而全球数字化数据规模据估计已达数十万EB(1EB = 10^18字节),也就是数以百万计倍于目前模型训练所能接触的量级。更重要的是,很多高质量的、经过验证的知识被锁在医院数据库、企业内部资料、专利档案和未公开的科研数据中。
这些数据不仅量大,而且在准确性与实际可用性上远超社交媒体噪声。 知识获取的挑战:不是数据稀缺,而是治理 既然文明级数据的价值如此巨大,问题就变成如何在隐私、产权与安全的约束下开启"广泛倾听"。简单地把所有数据集中到单一训练集既不可行也不可接受。医疗记录、企业机密、个体隐私都要求严格的保护措施。相反,技术与制度上的创新正在指向一种中间道路,使数据拥有者既能贡献知识,又能保持控制权。 实现这种治理需要多种工具协同。
联邦学习可以在本地训练模型并汇总参数,减少原始数据外泄风险;差分隐私为统计输出添加可控噪声以保护个体信息;安全多方计算与同态加密在理论上允许在加密态下共同计算;数据溯源与可追踪的赋值机制可以确保贡献者获得透明的归属与报酬。还有政策层面的契约、合规与审计制度,是把技术能力落地为可持续商业模式与公共产品的必要条件。 继承学习并非无懈可击 尽管继承学习在计算上极具效率,但它有内在的局限。仅依赖静态文本或历史数据,模型容易复制社会偏见、错误和过时的知识。经验学习的优势在于与环境的互动能力:机器人通过试验修正对世界的错误模型,RL(强化学习)系统通过真实或模拟环境获得新策略。纯粹的继承并无法完全替代试验验证与实时适应。
理想的路径是融合。继承学习提供宽广而高质量的先验 - - 一种压缩过的文明知识基础;经验学习在特定任务与环境中细化这些先验,发现新的策略与因果结构。现代AI发展的核心难题之一就是如何把两者有效结合:既能在大规模文明数据上获得普适能力,又能在本地或在线交互中快速适配并纠正偏差。 架构演进的方向 未来的AI系统可能呈现多层次的架构。底层是承载普适知识的通用模型,经过对大规模文本、图像与结构化数据的"广泛倾听"训练。中间层由领域适配模块构成,可通过有限的在线交互或任务专属数据对通用知识进行校准。
顶层是可控、可解释的决策接口,利用溯源与可追责的机制维持安全性与合规性。 在实现路径上,三类技术值得关注。第一类是隐私与归属技术,解决"谁贡献了数据"、"谁应获得收益"的问题。第二类是可信执行与可解释技术,确保模型决策可以被审计与回溯。第三类是在线与模拟交互平台,使模型可以在安全可控的沙箱中进行经验学习,而不必完全依赖昂贵且具有伦理风险的现实世界试验。 政策与经济考量 技术演进之外,谁来治理、谁来获益同样至关重要。
若只能由少数巨头掌握文明级数据的"广泛倾听"能力,可能会加剧集中化的经济权力与信息垄断;若缺乏全球性的标准,隐私保护与数据跨境流动会成为长期制约因素。因此,国际合作、标准制定、以及新型数据产权与激励机制的探索是必要的。可以想象的模式包括数据许可市场、按贡献付费的模型使用权、以及公共数据库与研究数据的有偿开放。 实践与伦理困境 把医院病例数据用于训练可以显著提升医疗AI的性能,但同时也带来了大量伦理问题:如何确保患者知情同意?如何避免模型泄露敏感信息?类似地,把企业的操作数据用于研发通用商业智能,会不会损害竞争?这些问题没有简单的技术答案,需要法律、伦理与市场机制的共同参与。 知识的可验证性也很关键。继承而来的文本知识有时并不等同于可操作的事实。
科学论文可能包含错误,历史文本可能带有意识形态偏差。为此,建立模型对信息源的可追溯性、对证据链的评估和对不确定性的表征,是避免盲目信任继承数据的关键手段。 从比喻到工程化的转化 将"演化累积"这一宏大叙事转化为工程实践,是一个跨学科的挑战。我们需要把分散的数据、制度与技术整合成可操作的流程:数据贡献者通过明确的合约参与共享生态,模型训练在保障隐私的条件下整合多源信息,应用方在可解释与可审计的前提下部署服务。企业、学术机构与公共机构各自扮演不同角色,共同构建一个既能放大文明遗产优势、又可持续、公正的AI生态。 结语:苦涩教训带来的双重启示 "苦涩教训"提醒我们:规模化、通用的方法往往优于过度精细的领域设计;"苦涩教训的苦涩教训"则提醒我们:不要忽视文明与演化所提供的宝贵压缩信息。
两者并不矛盾,而是互补。未来最有前途的AI是既能广泛倾听人类文明遗产、又能在实际交互中持续学习的系统。技术上的挑战、治理上的抉择与伦理上的约束将共同塑造这样的系统能否真正服务于广泛公共利益。 在这个过程中,研究者、工程师与政策制定者需要反复思考一个问题:我们是要从头开始"重演演化",还是学会经营与扩大文明的知识传承?答案显然不是非此即彼,而是如何把继承与发现巧妙结合,构建既高效又有负责性的智能系统。只有这样,AI才能既承载人类已有的智慧,又在未来不断发现新的可能性。 。
