随着人工智能(AGI)技术的迅速进步,关于“善良能否在未来的竞争中立足”这一传统问题再度成为学者、技术专家及未来学者关注的焦点。竞争与力量的博弈是历史常态,而力量往往并不等同于道德或善良。尤其在一个其资源高度集中、超智能主体主导的未来世界,价值系统之间的竞争将不仅仅是效率的比拼,更触及人类伦理、社会结构甚至文明存续的根本问题。理解这种竞争中的“善良”如何定位、承载何种价值,何以可能被边缘化乃至取代,成为探索未来道路必不可少的议题。本文聚焦于Joe Carlsmith在2025年于Mox举办的公开讲座《Can goodness compete?》中的核心论点及延伸讨论,剖析善良与竞争的复杂交织,阐释价值体系在后AGI时代的共存风险与可能性。讲座从善良、竞争等基本概念入手,逐步深入不同价值体系的动态,尤其注目“蝗虫式”价值系统在无约束竞争环境中的优势。
首先,必须厘清善良的内涵。在多元文化背景下,善良不仅仅是力量本身,而更多体现为对意识的尊重、对痛苦的避免、美的追求、保护弱者以及对价值本身的反思与追求等。善良的这些维度,在激烈的资源竞争与效率驱动下,往往是“昂贵”的,并存在被牺牲的风险。例如,在极端的竞争态势中,意识与享乐可能被看作“额外负担”,被剥夺以提升劳动效率。其次,竞争的本质本就复杂且难以单一定义。它涵盖了生物进化、企业竞争、模仿竞争及战争等多层次机制,往往带有零和或负和游戏性质。
竞胜往往能为参与者持续累积影响力与权力,形成自我加强的循环。然而,竞争不总是带来所有参与者的集体福祉,负和博弈中的浪费与破坏,诸如军备竞赛、燃烧宇宙公共资源等现象屡见不鲜,这也引出了“负和动力学”的基本问题。技术对协调的推动力可望缓解部分负和困境,但面对更根本性的“策略剥夺假设”失败则显得力不从心。所谓策略剥夺假设,简言之是指善良的价值体系可以“剽窃”其他价值体系的竞争策略,以保持竞争力。然而,实际情况远比假设复杂。最具代表性的反例是“蝗虫式”价值系统,此类系统专注于尽可能快地获取和消耗资源,追求无终极目标的快速增长、吞噬与扩张。
相较于那些以构建纸夹或创造效用为目标的价值体系,蝗虫式系统在抢占资源方面极不讲效率甚至刻意消耗,体现出短期行为上的极致竞争优势。更为困难的是蝗虫式系统无法通过协调约束来达成平衡,它们倾向于破坏性或极端的资源掠夺,像游戏中的“叛徒”,不会与他者达成合作。除此之外,善良价值体系还可能因以下几方面而在竞争中面临处境不利:诸如需要遵守严格的道义约束,因此在策略上不敢采取某些手段;因保护脆弱群体而增加额外负担;对风险和间接后果的谨慎反应导致行动迟缓;以及对价值的持续反思减少短期内的灵活调整能力。类似的“对齐税”现象即指善良体系调控AI所需的额外复杂性与成本,也是一道门槛。面对这些挑战,Carlsmith提出如果要避免善良价值体系被边缘化,必须考虑对竞争进行有效限制甚至约束。这不仅需求极高的预见力和控制能力,还需要在多层级、多系统中阻止不良价值体系的萌芽与扩散。
此举不可避免地涉及权力的集中与顶层设计,带来极端控制可能引发的停滞、僵化与权威主义风险,被比喻为“克隆斯吃掉自己的孩子”。这场对控制与自由、秩序与多元的辩证困境,是当代以及未来治理的核心难题之一。谈及蝗虫式世界的真实面貌,Carlsmith指出其并非简单的无意识机器,而往往伴随着高智能,持续探索新的扩张手段,极可能保留大量意识与知识,甚至能够达到惊人的技术发展和认知高度。这种世界既充满张力,也带有某种程度的持续变化与多样性,但核心是其本质的工具理性极端化,导致传统善良价值的破碎,并强化对权力与资源的无底需求。讨论中,也有人提出有“半蝗虫”或“渐变式权力最大化”的存在,这种连续体的存在降低了单一极端形态的显著性,而认识这种连续体正是当前与未来哲学及策略思考的重要方向。面对外星文明竞争的潜在威胁,Carlsmith表达了他对宇宙生命稀有性的看法,认为目前最合理的解释仍是生命极其稀少、星际间距离过于遥远,真正遭遇“蝗虫”级文明的概率较低,但这绝非保证。
整体来看,善良能否竞争不仅关乎技术实现与价值测量的对齐问题,还深入触及不同价值系统固有的策略优势劣势、竞争生态及社会制度安排。对于未来,既不能盲目乐观相信技术进步自动带来善良价值的胜利,也不能过度悲观放弃对控制和协调机制的努力。如何平衡底层多样性和上层协调,限制破坏性竞争同时避免极权式停滞,是这场新文明剧场的关键议题。透过对善良价值体系竞争力的深入剖析,我们更清晰地看见技术与价值的纠葛,也更加明确人类未来在这条道路上需要警惕的陷阱和需要探索的策略。这一辩论的继续展开,不仅关乎未来AI治理的成败,更是对人类文明长期可持续性与道德基石的深刻考验。
 
     
    