随着人工智能技术的迅猛发展，AI 编码工具成为业界和开发者们热议的话题。从业界的激烈宣传到大量创业公司纷纷将AI工具整合进开发流程，似乎一场软件开发效率的革命正在悄然来临。很多报道描绘了一个画面：小型团队利用 AI 快速构建应用程序，甚至不具备专业编程技能的人也能“轻松编程”，同时，初级程序员的就业市场似乎正遭遇冲击。然而，一项由METR在2025年春季进行的严谨实验却揭示了截然不同的现实。 这项研究聚焦于经验丰富的开发者在成熟项目中的表现。研究结果令人震惊：使用AI工具反而导致生产力下降了19％。
更令人惊讶的是，参与者自身普遍高估了AI带来的提升效果，预计工作效率提升约20％。这表明，主观感受和实际绩效之间存在巨大落差。 研究采用了随机对照试验设计，16名来自大型开源项目的经验开发者参与任务执行。他们从自己的待办事项中选择任务，每个任务花费时间约一到两小时，涵盖246个任务。任务被随机分配为“允许使用AI工具”或“不允许使用AI工具”两类。开发者在未开始任务时，对预计完成时间进行了估计，且此估计基于无AI辅助的假设。
随后，开发者在完成任务时记录实际时间并报告AI工具节省的时间。 通过对比预计与实际用时，研究人员发现使用AI工具的任务平均花费时间比预估值高出19％，而未用AI的任务则表现更快。这一发现挑战了普遍存在的观念，提醒我们：人们自我感知的效率提升可能存在严重偏差。 研究严格排查了各种潜在偏差因素。比如，开发者在不同任务间可能存在“John Henry效应”，即不允许用AI的任务带来更大努力以“战胜机器”的现象，但研究未发现此类趋势；也排除了开发者在禁止AI时作弊的情况；对任务定义、未完成任务的分布、工具的及时性和时间记录的准确性都做了严格控制和分析。即使考虑到AI工具使用频率不足或开发者经验不足等因素，研究并未发现这些成为导致生产力下降的主要原因。
那么造成生产力下降的根源到底是什么？研究者指出，AI生成的代码普遍未能达到开源项目严格的质量与风格标准。开发者需要花费大量时间审核、修改甚至推翻AI的工作成果，导致反复促使AI生成代码、等待、审核的时间拖累整体进度。更糟的是，AI生成代码的接受率仅为39％，且即使代码被接受，开发者仍需对其进行调整。 除了代码质量问题，AI工具导致的工作流切换和思路中断也影响开发者的专注度和效率。研究数据显示，在AI支持任务中，开发者花费较多时间处于闲置状态，可能是等待AI响应或思考如何继续操作。虽然某些环节如代码撰写和查询时间有所减少，但整体耗时依然增加。
此外，研究触及了所谓“任务范围扩大”问题。开发者使用AI时产生了更多代码行数，是否因为他们试图实现更多功能或处理更多边缘情况，从而导致工作时间延长？这点证据并不充分且不显著。更可能的是AI代码冗余或部分无效代码的增加，需要投入精力进行清理和调整。 更进一步，AI难以掌握项目中的隐性知识，特别是那些复杂项目多年来累积的未文档化信息。成熟大型开源项目往往包含上百万行代码，开发者依靠对项目独特细节的深刻理解做出设计和实现决策，而现有AI工具在分析超大规模代码和掌握细节方面能力有限。AI往往表现得像一个新手贡献者，不能准确捕捉编辑位置或正确处理向后兼容等细节。
这一发现也与不同类型项目间AI效能的不均衡表现相符。在环境较为简单、任务明确的“绿地”项目中，AI工具往往带来显著提升。而在复杂的遗留项目中，AI的帮助则大打折扣。 对于开发者而言，还有认知偏差值得关注。尽管实际效率下降，参与者普遍感觉AI帮助他们完成工作更快。此种认知偏差表明，仅凭主观感受来评估AI生产力影响极具误导性，迫切需要结合客观测量来准确评估工具价值。
除了该研究外，业界还进行了多项相关研究，尽管结论不完全一致，但普遍显示AI工具对资深开发者的即时生产力提升有限。相反，对新手或在简单场景中的开发者帮助更为显著。 基于目前的观察，AI编码工具在快速生成代码方面具备天然优势，但完成高质量、符合项目规范、与复杂环境完美整合的代码仍需人类大量审查与修改。在这一过程中，AI的低效率输出和频繁的代码返工消耗了宝贵时间，反而降低了整体效率。 着眼未来，AI工具的发展还有极大潜力。随着模型能力的提升、开发环境的优化以及开发者对AI辅助工作方式的逐步适应，利用AI提高软件开发效率的场景将不断扩展。
更智能、更懂上下文的编码助手能够更有效地读取上下文、理解项目规范、更准确地辅助测试和代码审查，从而减少无效产出和返工。 另外，团队内部知识的数字化和结构化管理也会提升AI工具的表现，为AI提供全面且精准的背景信息，缩短AI理解项目的时间，减少错误生成。 现阶段，开发者应谨慎评估和使用AI辅助工具。盲目依赖AI不仅可能无助于提升效率，反而可能增加额外负担。合理搭配AI工具与人工智能，发挥双方优势，逐步完善工作流，方能实现最大生产力提升。 人工智能编码工具正处于快速演进期，充满机遇与挑战。
最新研究提供了宝贵的现实视角，揭示了当前工具的真正表现及其不足。唯有客观面对问题、持续改进技术与应用实践，AI才能真正成为软件开发者的得力帮手，推动开发效率进入新纪元。
