随着人工智能技术的迅猛发展，大型语言模型（Large Language Models，简称LLMs）在各个领域展现出强大的自然语言处理与综合推理能力。化学，作为一门涉及大量专业知识与复杂推理的科学，正在经历人工智能技术带来的深刻变革。本文旨在全面分析大型语言模型在化学知识的掌握和推理能力上与专业化学家之间的异同，揭示其潜力与局限，并探讨未来发展方向。大型语言模型是基于海量文本数据训练而成的机器学习系统，能够理解和生成自然语言文本。近年来，这些模型通过规模的不断扩展和训练技术的优化，显著提升了在复杂任务中的表现，包括医学考试和专业领域的问答等。化学领域同样受益于这一技术浪潮，研究者们开始探索LLMs能否胜任化学专业知识问答、反应设计及实验指导等任务。
近期由德国弗里德里希·席勒大学耶拿分校等多机构联合开展的ChemBench项目，为系统评估大型语言模型在化学知识储备与推理能力方面的表现提供了标准化平台。该项目建立了包含约2700个涉及多种化学子领域问题的问答库，覆盖无机、有机、物理、分析及安全等多重主题，题型兼顾开放问答和选择题，全面考察模型的知识面、计算能力、逻辑推理及化学直觉。通过对当前多款领先开源和闭源LLMs的测试，ChemBench结果令人震惊：部分顶尖模型平均表现已超越被调查的化学专家。在整体答题准确率上，某些模型的正确率几乎是人类专家的两倍，这一结果充分展现了人工智能在处理广泛化学知识以及复杂推理任务上的潜能。然而，令人警醒的是模型在某些基础且关键的化学任务上仍表现欠佳，例如分析化学中通过核磁共振识别不同氢核信号的数量。与专家允许借助结构图辅助分析不同，模型仅通过SMILES字符串推断分子对称性，难度显著提升。
这揭示了模型虽然能够记忆大量文本信息，却未必能真正“理解”分子结构的空间特点和直观规律。此外，化学安全与毒性评估等领域的表现也较为薄弱，而这类知识对于实验室安全及公众健康至关重要。另一个显著挑战是模型的过度自信表现。尽管部分模型在回答时会提供置信度评分，但实际上这些评分与答案的正确性并无明确相关，错答常伴随高置信度输出。此现象加剧了模型在应用中的风险，尤其当非专家用户依赖模型结果做出安全、经济等重要决策时。相比之下，参与研究的化学专家在这些领域的答题正确率虽不及部分模型，但在应对复杂推理和安全相关问题时表现出更为谨慎和稳健的判断能力，凸显人类思维在化学科学中的不可替代性。
化学偏好判断是另一项测试内容，涉及模型是否能模拟专业化学家在分子筛选和药物设计中的直觉选择。结果显示，尽管LLMs在知识问答上表现出色，但在此类需要经验和主观判断的任务中，表现接近随机水平，未能有效捕捉人类专家的偏好。此发现提示未来模型应加强对化学直觉和经验性的学习能力，或结合专家系统进行辅助，以支持更符合科学家需求的决策。值得关注的是，模型的规模与性能呈正相关，较大参数量的模型通常能提供更准确的回答，表明通过扩展模型规模和丰富训练数据有望进一步提升其化学领域表现。此外，当前多款开源模型，如Llama-3系，也已达到或接近部分闭源顶尖模型的水平，推动了学术界对开放科学与技术普及的积极影响。ChemBench项目强调了在化学领域设计专门评测框架的重要性。
传统的ML评测多聚焦于分子性质预测或化学反应结果预测，缺乏对语言理解、知识运用和复杂推理的全面考核。而ChemBench通过多维度问题设定，充分融合知识、推理、计算与直觉能力的考量，更真实地反映了化学专家的工作需求及挑战。基于此，化学教育在面对日益强大的人工智能辅助工具时亟需变革。传统依赖记忆与机械计算的教学模式可能被逐步取代，更应强调培养学生的批判性思维、创新能力和问题解决能力，以便他们能合理利用AI工具，弥补模型的不足，提高科研和实践效率。同时，科研人员应强化对生成内容的验证与批判，避免盲目信任，尤其是安全和毒理学相关信息。未来大型语言模型的发展方向需聚焦多模态结合、结构直观理解以及与专业数据库的无缝集成。
现有模型在处理文本化的化学数据表现良好，但对分子三维结构、实验设备数据或更复杂信息的直接解释能力仍有限。通过将语言模型与图像分析、实验数据处理及专门化学数据库相结合，有望打造更具智慧的化学助理，实现知识自动提取、实验设计建议甚至自动化合成流程指导。此外，提高模型对自身回答不确定性的识别能力，将助力实现更安全可靠的人机互动，降低潜在风险。总的来看，大型语言模型在化学知识储备和某些推理维度已经展现出超越人类专家的潜力，但仍存在偏科与判断力不足的问题，需要人工智能与化学专业知识的深度融合以及教育体系的适应性调整。ChemBench作为首个系统性基准测试框架，不仅为模型评估提供了科学工具，也推动了化学与人工智能交叉学科的持续发展。未来的研究需继续拓展题库范围，深化模型能力，促进开放合作，推动智能化的化学研究和教育迈向新篇章。
在这场人机共荣的时代，化学专家和先进的人工智能工具协同合作，将极大地加速科学发现的步伐，助力解决能源、健康和环境等全球重大问题。
