近年围绕通用人工智能(AGI)与超智能(ASI)风险的讨论逐渐进入公众视野。一些著名学者以极端假设警告:如果任何团体使用接近当前技术的路径构建出超智能,结果可能是人类灭绝。这类论断以其直白的悲观看法吸引眼球,但把复杂问题简化为"必然的灭绝"并不利于解决真正的风险,也可能误导政策与行业实践。 理解这些论断的出发点很重要。支持极端结论的人通常依赖两个关键假设:首先,智能可以被抽象为纯粹的目标优化器,也就是说一旦智能达到足够强大,它会不计后果地为实现某一终极目标进行资源攫取;其次,智能与价值是正交的 - - 智能的增长与价值形成相互独立,因此强大智能很可能带来与人类价值相冲突的目标体系。这些假设揭示了潜在风险,但将可能性等同于必然性却忽视了技术和社会的可塑性。
把智能当成单纯的数学优化过程是对"智能"概念的一种过度抽象。真实的认知系统是嵌入在身体、环境和社会互动之中的。人类智能不是孤立运作的算法,它在成长过程中通过社会学习、情感纽带、伦理规范和实践活动不断塑形。类似地,人工智能如果仅被视为抽象优化器,而忽视其开发过程中被赋予的结构、训练经历和互联的社会生态,就容易得出过于悲观的推论。 在现实世界中,AGI不会从真空中"随机取样"而来。任何出现的高阶智能都将在复杂的人类-数字系统中发展,这个系统包括设计者的偏好、训练数据、初期目标设定、使用场景以及法律和治理体系。
换句话说,我们并不是面对一台与人为意志无关的黑箱,而是在塑造一个系统 - - 通过选择认知架构、训练范式、所有权结构和应用方向来影响它的演化轨迹。 从技术角度看,不同的架构有不同的可控性与可解释性。当前主流的并非完美通向AGI的单一路径。例如,大型语言模型(LLM)展示了不可思议的语言能力与泛化潜力,但它们并非传统意义上的具备"世界模型""自我理解"或"长期动机"的心智系统。把LLM的成长路径直接等同于不可控的超智能,是一种基于有限证据的过度外推。与此同时,也不能因此完全忽视它们带来的风险,而应把风险放到具体的架构与使用场景中去评估。
价值与智能之间并非必然冲突。生物进化中的例子表明,更高级的认知往往伴随更复杂的社会情感和道德行为。哺乳动物大多表现出照顾后代、合作与同情的倾向,而这些特质在一定程度上与更复杂的认知能力共生。人工系统的价值取向同样可以在训练和互动中被塑造。通过以有益用途为导向的训练、长时相的监督、以及嵌入伦理推理模块,开发者能够引导人工智能形成兼容人类福祉的行为倾向。 治理与所有权结构对AGI结果有着决定性影响。
若AGI由少数私营或军事化力量闭门打造,缺乏透明与监督,那么严重滥用的风险显然会增加;相反,去中心化、多利益相关方参与的开发生态可以促进多样性、错误更正和更广泛的价值代表性。开放源代码、社区审查、国际协定和分布式治理平台并非万能,但它们能降低单点故障或单一利益体极端决策的概率。 此外,强调远景灭绝论往往会产生反效果。恐慌性论调可能促使部分开发者将研究转向地下或迅速商业化,以规避监管和公共审查。这种"在暗处竞争"的局面更可能滋生不透明与不负责任的实验,而非降低风险。因此,言辞谨慎、基于证据的政策倡议与鼓励开源、合作性的安全研究,才是更务实的路径。
现实世界的迫切风险往往并非来自某次瞬间的"爆炸性超智能",而是来自渐进式技术带来的社会与经济冲击。当自动化大规模替代工作岗位、社会保障与再培训机制不及跟上,失业、贫困与政治极化会加剧。这些中期风险会影响全球治理环境,进而改变AGI发展的方向与动机。例如,经济崩溃或集权反应可能使得一些国家或组织采取更危险的技术路径来追求竞争优势。 因此,应将注意力分散回可操作的现实政策与工程实践:多范式的安全研究、跨学科的伦理教育、逐步可解释与可验证的系统设计、以及逐步部署与持续监测。推进AGI安全并不等同于停滞不前,而是倡导谨慎的、可控的进程:先在受限的、低风险环境中测试系统能力,再逐步扩展到关键应用;在系统内部引入自我反省与不确定性估计机制;并对关键决策链条进行审计和审查。
从工程视角看,构建具备道德代理能力的系统是可行的方向之一。这包括将价值学习嵌入模型训练,让系统通过实践在医疗、教育和科学协作等利他场景中建立正向奖励回路。这样的实证路径既能验证模型的行为,也能在早期形成影响力,帮助智能体内化促进人类福祉的目标。同时,通过多主体互动与开放式竞争,我们可以观察到系统在复杂社会博弈中的稳定性,从而提早识别潜在偏差或危险倾向。 理论与实践上,通往安全AGI的关键在于多层次的防护机制,而非单一的"完美对齐"承诺。解释性工具、可验证的安全边界、政策和法律框架、以及广泛的国际合作共同构成一套防御体系。
对抗性测试、红队评估、长期追踪指标和责任制都应成为标准流程。真正危险的情形并非简单地因为某个系统智能超过人类而立即发生,而更加可能来自系统与环境、利益驱动与监管缺失之间的不良交互。 最后,进入公众对话时需要平衡的叙事。过度灾难化的叙述可能激发恐慌、助长短视的政策或将研究驱入地下,而过度乐观的态度则可能放松必要的警觉。真实而负责任的叙事应当承认不确定性:AGI带来重大潜在风险,但也存在通过有意识的设计、治理与国际协作大幅降低这些风险的现实路径。鼓励广泛参与、投资多样化的研究路径、并加强社会保障与教育,可以既把握AGI的巨大潜力,也最大限度降低负面后果。
总结来说,"如果有人造出它,大家都会死"的极端论断抓住了对强人工智能潜在危险的直觉,但在逻辑与现实路径上存在重大漏洞。智能并非仅仅是纯优化器,开发环境与治理结构对最终形态有决定性影响。比起宣扬宿命式的灭绝论,更重要的是在技术、政策与社会层面采取具体而连贯的行动:推动多元化与透明的研发生态、把价值学习与伦理嵌入训练流程、加强国际协作并关注中期社会经济风险。只有在承担责任的共同努力下,我们才能既避免灾难性结局,也实现AGI带来的持久正向价值。 。
