人工智能技术的迅猛发展推动了自然语言处理领域的巨大进步,特别是大型语言模型如OpenAI的ChatGPT,已经在全球范围内得到广泛应用。然而,AI幻觉(hallucinations) - - 即模型生成看似合理却事实错误的信息 - - 这一现象持续困扰研究人员和用户。近日,OpenAI发布了一项具有里程碑意义的研究,公开承认AI幻觉是由基本的数学和计算极限决定的,具备不可避免的特性。这一论断不仅颠覆了业界普遍认为幻觉只因工程缺陷导致的认知,也为未来人工智能风险治理带来深刻启示。OpenAI的研究表明,即便拥有完美无误的训练数据,语言模型依然会生成虚假但合理的输出。这一现象可以类比为学生在考试中遇到难题时,出于不确定性而猜答案。
研究团队由OpenAI的亚当·陶曼·卡莱(Adam Tauman Kalai)、埃德温·张(Edwin Zhang)、奥菲尔·纳楚姆(Ofir Nachum)及乔治亚理工学院的桑托什·S·温帕拉(Santosh S. Vempala)共同完成,为AI幻觉提供了系统的数学框架。他们指出,这种幻觉的产生根基于统计性质和计算复杂性问题,非单纯技术或数据质量可以克服的工程挑战。具体而言,团队发现语言模型产生错误的概率至少是"是否有效"(Is-It-Valid,简称IIV)错误率的两倍,确保了无论技术如何进步,错误都会存在。该研究还通过测试多款业内主流模型验证了结论,包括OpenAI自身的模型、Meta AI的DeepSeek-V3及Anthropic的Claude 3.7 Sonnet。在一个简单问题"DEEPSEEK中有多少个字母D?"的测试中,模型输出答案不稳定且经常错误,不同于预期的"3",偶尔甚至给出"6"或"7"等超出合理范围的数字。OpenAI坦承,在其开发的GPT系列中,幻觉依旧存在。
GPT-5版本虽然在推理能力上减少了幻觉发生频率,但仍无法彻底根除。更令人关注的是,公司旗下的高级推理模型,诸如o1、o3、o4-mini版本的幻觉率逐步上升,分别达到16%、33%和48%的频率,反映出模型能力提升并不必然带来幻觉减少。专家指出,缺乏承认不确定性的能力是AI幻觉屡禁不止的主要原因。人类智能在面临事实模糊时,往往表现出谦逊,选择探查或暂缓判断,而AI模型往往倾向于在信息不足时自信输出结果,使得错误表现为"事实"而非"估计"。研究进一步总结导致幻觉产生的三大数学因素。首先是认识论不确定性(epistemic uncertainty),也即训练数据中罕见或缺失的信息导致模型无法充分掌握事实。
其次是模型能力限制,当前架构在表达复杂知识和任务时存在局限。最后是计算不可解性,包括涉及密码学等高度复杂问题,即使超智能系统也无法完全准确解决。除了基础性质外,研究还揭露了行业评估体系存在的问题。目前主流的AI模型测试标准多采用二元评价方法,严格惩罚模型表现出"不知道"而非错误答案的行为。这导致模型倾向于"猜测"而非诚实表达不确定,进一步加剧了幻觉问题。正如研究所言,训练和评价机制实质上"鼓励模型猜测而非承认无知",从根本上助长了幻觉的发生。
此外,企业和监管机构也遭遇因幻觉带来的挑战。在金融、医疗等高风险行业,模型的错误输出可能导致严重后果,现有风险框架及治理措施显然无法有效应对持续存在的幻觉风险。专家建议应将治理策略从单纯的预防升级为风险遏制,更强调人机协同、行业专用规则及动态监测机制的建设。行业权威如Counterpoint Technologies研究副总裁尼尔·沙阿(Neil Shah)提出,可借鉴汽车安全领域的精细分级体系,为AI模型设置基于可靠性与风险等级的动态评分,提升整体安全透明度。同时,分析师查理·戴(Charlie Dai)强调,在采购和部署AI系统时,企业需重点考量模型的置信度校准能力和输出透明度,而非仅以标准基准分数作为决策依据。部分先进办法也着眼于建立实时信任指数,综合评估提示词的模糊程度、上下文理解能力及信息来源权威性,以动态监控模型输出的可信度。
市场层面,部分领先企业与学术机构已经开始探索更为科学的评估模型及治理框架。例如哈佛肯尼迪学院的研究指出,现行下游内容把关机制由于资金、数据量及语境敏感度限制,难以有效过滤细微幻觉。改革测试标准虽存在难题,但随着监管压力、市场需求及竞争驱动的提升,有望朝向更严谨、符合现实应用需求的方向推进。OpenAI的研究最终呼吁整个AI行业重塑模型评估体系,并承认无论技术进步多大,幻觉的不可避免性使得理想的完全无误AI仍是遥远目标。对于企业用户而言,在接受这一现实的基础上,制定切实可行的风险控制方法,强化人类专家监督,调整业务流程,成为后AI时代的必备策略。总结来看,OpenAI关于AI幻觉数学必然性的公开,标志着人工智能领域认识上的重大跃进。
它提醒我们,幻觉不仅是技术缺陷,更是语言模型性质的反映。未来,只有持续完善模型设计、评价方法及监管机制,才能最大程度降低幻觉对用户和社会的负面冲击,实现更加安全可信的智能服务。随着研究深入推进,人工智能也必将在更加理性和透明的治理框架下,实现与人类社会的和谐共生。 。
