随着大语言模型（LLM）如ChatGPT、Gemini和Claude的兴起，人工智能在信息获取和处理领域掀起了革命性变化。这些模型能够在多种主题上回应人类的提问，体现了卓越的自然语言处理能力。然而，除了核心表现之外，一个关键但较少被关注的问题是：这些模型对自身回答准确性的信心有多大？换言之，它们的自信判断（confidence judgments）是否准确，能否反映出其回答的真实可靠程度？元认知，即对自身认知过程的认识和监控，是人类在决策和推理中不可或缺的能力。人类通常会伴随答案给出信心评估，帮助交流和调整后续行为。LLMs能否同样给出准确的自信评价，是了解其是否具备类人元认知特性的关键。最近一系列开创性研究以实验方式，系统评估了不同LLM与人类在多个领域中自信判断的表现。
研究涵盖了“阿莱托不确定性”（aleatory uncertainty，未来事件不可知的本质随机性）和“认知不确定性”（epistemic uncertainty，因信息不完全导致的不确定性）两个层面，让对比结果更具全面意义。实验内容涵盖NFL比赛结果预测、奥斯卡奖得主预测、画图猜词游戏表现、具有挑战性的文化杂学题目，以及针对一个中型私立大学生活相关问题的事实问答。对比对象包括ChatGPT、Gemini、Claude的Sonnet和Haiku模型，以及大量人类参与者。研究关注的核心指标分为绝对元认知准确度（absolute metacognitive accuracy）和相对元认知准确度（relative metacognitive accuracy）。绝对准确度对应模型自我评估的成绩预测与实际表现的匹配度，即校准度；而相对准确度则反映模型在不同问题上区分正确与错误答案的能力，体现其信心分配的合理性。实验证据显示，LLM在这两种准确度指标上整体表现与人类相近，甚至部分情况下略胜一筹。
尤其是绝对准确度，Claude系列模型表现出比大多数人类样本更佳的校准能力。尽管如此，所有样本都表现出普遍的过度自信倾向，尤其在面临更加复杂或信息不完整的任务时更为明显。需要注意的是，LLM在经验反馈的灵活运用上存在一定缺陷。人类参与者在完成任务后通常能够调整自信估计，更准确地反映其表现，而LLM往往无法有效利用先前的任务经历来修正信心评估，表现出一种元认知的学习能力不足。这一点揭示了其缺乏类似人类“记忆性元认知线索”的体现，即对自身认知过程体验的感知和反思能力。模型主要依赖训练数据中的统计特征（内在线索）以及提示语言中的外在信息线索来判断信心，但缺少真实的内省体验。
不同的任务和领域也对模型自信判断的表现产生了显著影响。在未来事件预测这一典型阿莱托不确定性任务中，LLM的元认知表现通常优于甚至超过人类水平。而在需要结合知识和经验回答的认知不确定性领域，比如复杂的知识问答和技能表现估计，虽然整体表现仍有相似性，但人类在经验后调整信心的能力则显得更为突出。细粒度分析显示，人类与LLM在处理任务难度和自信分布上的相似度因领域而异，有时高度一致，有时则展现较大的差异，这暗示了两者在认知和元认知过程中的根本差异。该系列研究还探讨了多个主流且广泛使用的模型版本，涵盖时间跨度超过一年半，说明当前技术迭代并未显著提升模型自信判断的元认知能力。这为未来的研究指明了方向——如何设计或训练更具反思性和学习调整能力的语言模型，是实现更安全可靠AI系统的关键。
研究同样提醒用户应意识到，虽LLM的信心表达在数字层面趋近人类，但在机制上可能仅是对训练数据模式的再现，而非真正的元认知体验。这种差异在模型响应与人类实际经验反馈适应性上的偏差得到体现。值得关注的是，部分模型如Claude Sonnet和Haiku在多项指标中表现出与主流模型不同的趋势，提供了理解不同架构元认知潜力的有趣案例。综上所述，对LLM信心判断的系统评估为人工智能领域建立了宝贵的基准，补充了对其认知与元认知能力的科学理解。研究强调LLM的信心表达虽在绝对和相对准确度上不输部分人类群体，却存在过度自信以及经验反馈调整的局限。此外，任务类型显著影响其表现，表明开发具备更细致认知监控机制的模型，是提升AI可信度的必经之路。
未来的研究可进一步探索更广泛领域、低信息环境下的表现，以及如何通过提示工程或模型设计优化信心判别功能。此外，将最优秀的人类专家与顶尖LLM进行元认知能力对比，也将为理解人工智能与人类认知差异提供更深层洞见。最终，全面认识LLM不确定性感知与表达，为我们合理利用这些强大工具，确保其在真实应用场景中的安全与有效，奠定了坚实基础。
