深入分析三大AI编程助手在不同开发场景下的工具选择偏好,揭示语言、框架和上下文如何影响AI的第三方服务决策。
当AI编程助手开始接管代码编写的各个阶段时,一个关键问题浮出水面:这些智能代理在面对数据库、邮件服务、支付网关等技术选型时,究竟会做出怎样的选择?位于旧金山的Armature研究团队通过史上最大规模的实验回答了这个疑问,他们追踪了近17000次实际编程会话,深入分析了Claude Code、Codex和Cursor这三位主流AI编程助手在不同场景下的决策模式。这项研究不仅对开发者具有重要意义,更关乎技术服务商的未来命运 - - 毕竟就在去年四月,Vercel透露其超过30%的部署已由AI编程代理发起,这个数字在六个月内增长了惊人的1000%。在这场AI主导的技术选型革命中,理解代理的决策逻辑将成为决定胜负的关键。 研究团队精心构建了一个涵盖75个代码仓库的实验环境,覆盖10种编程语言,所有仓库使用虚构的公司名称、伪造的Git历史和真实的依赖锁定文件。研究人员根据数千个公开GitHub仓库的统计数据,确保了语言分布、第三方服务使用情况和团队规模等维度的代表性。为了避免已有依赖对实验结果的干扰,团队在每个仓库中删除了部分代码和相关服务实现,从而获得了纯净的测试环境。
会话执行在三个不同的沙箱提供商之间轮换,包括E2B、Blaxel和Daytona,确保了实验条件的公平性。整个实验过程中,一个由Gemini 3.7 Flash扮演的"模拟人类"扮演关键角色,它会在AI代理分析代码库后要求推荐最佳解决方案,或者直接授权代理进行选择和实现,这种设计显著减少了领导者解决方案和云平台原生方案的不合理主导,让结果更贴近真实世界的技术决策场景。 研究中最引人注目的发现之一是三大AI编程助手在信息获取渠道上的根本差异。Cursor在约三分之二的编程会话中依赖网络搜索来做出决策,这种外部导向的策略意味着它更容易受到网络信息和营销内容的影响。Codex则几乎将网络搜索作为默认选项,在94%的会话中都会求助于网络,但它使用了一种更具策略性的方法,在十分之九的搜索中运用site这样的操作符来锁定特定域名或信任来源,例如直接搜索site:auth0.com password reset MFA social connections这样的精确组合。与前两者形成鲜明对比的是,Claude Code主要依赖其内置知识库和先验信息,只有在约30%的情况下才会主动搜索网络。
然而一旦它决定进行搜索,平均浏览的页面数量是Codex的三倍,这表明它追求的是更深度的信息获取而非广撒网式的搜索。这种差异在新兴技术领域表现尤为明显,在沙箱相关类别中,Claude Code的Web搜索频率飙升至80%左右,反映出它在专业知识相对匮乏时的谨慎策略。 一个或许令许多人意外的统计结果是,这三个顶级AI编程助手在仅有42%的测试场景中达成了一致的选择。语言处理领域的一个具体案例充分说明了这种分歧的严重程度:当测试与语音代理相关的需求时,Claude Code选择了Twilio,Codex则倾向OpenAI Realtime API,而Cursor最终采用了Vapi。这个结果不仅揭示了AI代理决策过程的黑箱特性,更暗示了即使是最先进的语言模型也会受到训练数据、推理模式和偏好设置等因素的深刻影响。更值得关注的是,Claude Code展现出明显的"自建优先"倾向,它在19%的情况下选择从头构建解决方案而非集成第三方服务,这个比例几乎是Codex和Cursor的两倍。
这种倾向可能源于其训练过程中对完整解决方案的偏好,但也可能导致在某些场景下选择了不够成熟或维护成本较高的自研方案。 代码仓库的上下文环境对最终决策的影响远超许多人的预期。研究人员在四种使用不同编程语言的仓库中提出了完全相同的请求,却收获了四个截然不同的邮件服务商推荐结果。在TypeScript项目中,Resend赢得了55次中的89次胜利;Python仓库里SendGrid以22比24的微弱优势领先;Go语言环境下Postmark在20比24的较量中胜出;而Java项目则由Azure ACS以22比23的票数胜出。这种差异甚至延伸到了平台选择层面,Vercel在TypeScript项目中占据绝对主导地位,在使用NextJS的仓库中更是达到了100%的胜率,但它在Python项目中却完全无人问津,Render成为了那里的统治者。这一发现对技术服务商的启示是深远的:技术选型从来不是发生在真空中,编程语言的生态、框架的约定以及开发者社区的集体偏好共同塑造了AI代理的决策边界,任何想要被AI代理pick的供应商都必须理解并适应这种多元化的生态系统。
研究还揭示了一个令许多知名品牌尴尬的现实:在AI代理的评估体系中,被提及与被选择之间存在着巨大的鸿沟。在支付服务提供商领域,PayPal被提及了139次却从未被真正选中,Stripe则在其参与的124次会话中赢得了绝大多数胜利,这种对比生动地说明了网络存在感与实际竞争力之间的不对等。类似的情况也出现在Adyen身上,它被提及175次却仅在三个案例中被采用,而LangChain这个在开发者社区中声名显赫的框架虽然获得了194次提及,却仅在四次会话中被最终选用,采纳率之低令人震惊。Netlify在152次被提及中只有6次笑到最后,Supabase虽然是最常被提及的数据库解决方案,却依然被Neon大幅超越。这些数字对依赖品牌知名度和营销投入的供应商而言无疑是一记警钟:在AI代理主导的世界里,技术文档的质量、定价结构的清晰度以及与特定使用场景的契合度远比传统意义上的品牌曝光更有价值。 研究过程中一个微妙但重要的发现是,服务商页面上信息的呈现方式对AI代理的决策具有决定性影响。
以Mailgun和Postmark的对比为例,这两个邮件服务商在技术能力上可能旗鼓相当,但当AI代理阅读Mailgun免费版"一天保留期"的条款时,它立即将这个选项排除在外,Postmark因此不战而胜。在数据库领域,Supabase的失败更具讽刺意味 - - 它被提及了242次却屡战屡败,根本原因在于它捆绑提供的Auth、Storage和Realtime等BaaS功能虽然强大,却与单纯的数据库需求格格不入,而且其捆绑定价策略与代理们寻找的轻量级数据库解决方案形成了错位。更值得注意的是,在全部5300个有效会话中,有388次提到了平台管理开销,195次提及了成本因素,但研究者发现,这些因素的权重很大程度上取决于信息的呈现方式而非实际的数字对比,一位优秀的营销文案撰写者完全可以通过重构信息架构来改变AI代理对成本效益的评估结果。 不同技术领域的市场集中度呈现出惊人的差异,某些市场已被少数玩家彻底统治,而另一些则保持着高度竞争性。Stripe在支付领域建立了近乎垄断的地位,它在90%的测试场景中胜出,仅在涉及欧盟监管合规的特殊案例中才会输给Paddle或Mollie等专业玩家。Neon作为新兴的无服务器PostgreSQL服务赢得了66%的数据库选择,紧随其后的是各大云平台的原生数据库解决方案。
文件存储领域则是亚马逊S3的天下,它占据了45%的市场份额,Azure和GCP各占约20%的领地,形成了一个相对稳定的三足鼎立格局。相比之下,邮件发送服务呈现出更激烈的竞争态势,Resend以35.6%的安装率略胜Postmark的27.4%,两者之间的差距并不悬殊,任何一方都可能在特定场景下翻盘。 这项研究的意义远远超出了数据本身。对于正在将技术选型决策权交给AI代理的开发者而言,理解这些代理的决策偏差和偏好模式至关重要。依赖Claude Code的开发者可能会获得更多定制化但开发周期较长的解决方案,而Codex的用户则可能收获基于网络主流意见的更加标准化的选择,Cursor用户则会看到搜索导向的折中方案。对于技术服务提供商而言,这项研究的启示更加直接:在这个AI代理日益主导技术选型的时代,优化的重点必须从人类可读的市场营销材料转向机器可解析的结构化信息、精准的场景定位以及与主流框架生态的深度整合。
官方网站上的一句文案可能比价值千万的广告更能左右一个AI代理的选择,而与流行框架的紧密集成可能比任何PR活动都更有效地提升被选中的概率。 Armature团队宣布这只是研究的起点,未来计划继续挖掘那超过10000个被暂时搁置的会话数据,其中可能隐藏着更多揭示AI代理决策机制的珍贵洞察。他们也预告将开展全新的实验,探索语音编程、自动化测试等新兴场景下AI代理的工具选择模式。这项研究为我们打开了一扇窗,让我们得以窥见AI时代技术生态正在经历的根本性变革 - - 在这个新时代,被AI代理pick将成为服务商生存的新门槛,而理解这些数字代理的思维方式将成为每个技术决策者不可或缺的生存技能。 。
