研究发现：AI编程工具并不一定会加快软件开发速度

据研究人员在一项随机、受控试验中的发现，尽管人们普遍期望人工智能（AI）编码工具能够加快软件开发进程，但实际测试结果却恰恰相反。

非营利研究组织“模型评估与威胁研究”（Model Evaluation & Threat Research，简称 METR）的计算机科学家发布了一项研究，结果显示，使用 AI 编码工具反而使软件开发者的工作效率下降，尽管此前预期正好相反。

不仅 AI 工具拖慢了开发者的进度，还导致他们产生了类似 AI 自身常见的“幻觉”。开发者原本预计能提速 24%，但在研究结束后，他们仍认为 AI 让任务完成速度提高了 20%，而实际上，它让工作延误了差不多相同的百分比。

研究报告指出：“在研究结束后，开发者估计允许使用 AI 减少了 20% 的完成时间。令人惊讶的是，我们发现允许使用 AI 实际上使完成时间增加了 19%——也就是说，AI 工具拖慢了开发者的进度。”

这项研究涉及 16 名经验丰富的开发者，他们都参与大型开源项目。这些开发者列出了一份需要解决的真实问题清单（例如修复 bug、添加新功能等），共计 246 个问题，并预测了完成这些问题所需的时间。随后，这些问题被随机分配为“允许使用 AI”或“禁止使用 AI”两类。

接下来，开发者们开始处理这些问题，在允许使用 AI 的情况下，他们选择了自己偏好的 AI 工具（主要是带有 Claude 3.5/3.7 Sonnet 的 Cursor Pro）。整个研究过程发生在 2025 年 2 月至 6 月之间。

报告指出，这种效率下降可能由以下五个因素造成：

1. 对 AI 有用性的过度乐观（开发者对其能力抱有过高期望）
2. 开发者对代码仓库的高度熟悉（他们经验丰富，AI 提供的帮助有限）
3. 大型且复杂的代码库（在超过百万行代码的仓库中，AI 表现不佳）
4. AI 可靠性低（开发者接受的 AI 建议不到 44%，还需额外时间进行清理和审查）
5. 隐含的仓库上下文理解不足（AI 不了解其运行的具体背景）

其他因素如 AI 生成响应的延迟，以及未能向 AI 模型提供最佳输入（提示语）也可能影响了结果，但研究人员表示尚不确定它们的具体影响程度。

其他研究也表明，AI 并不总是如宣传所言那般有效。AI 编程公司 Qodo 最近的一项研究发现，AI 软件辅助的一些优势被“验证 AI 建议所需的额外工作”所抵消。丹麦经济数据显示，生成式 AI 对就业或工资没有产生任何积极影响。英特尔的一项研究发现，搭载 AI 的 PC 反而降低了用户生产力。中国一家电力公司的客服人员则表示，虽然 AI 辅助可以加速某些任务，但也因引入更多工作而拖慢整体流程。

研究中附带的一张图表就体现了 AI 工具使用的这一特点：当允许使用 AI 时，开发者花在主动编写代码和查找/阅读信息上的时间减少了，取而代之的是用于提示 AI、等待和审核 AI 输出内容，甚至出现了更多空闲时间。

更广泛地来看，很多程序员也发现，AI 工具可以帮助他们在低风险场景下快速测试新方案并自动化一些常规任务，但从总体上看并没有节省时间，因为你仍需验证代码是否真正有效——此外，AI 也不会像实习生那样随着使用逐渐学习进步。换句话说，AI 工具可能会让编程变得稍微有趣一些，但它并未真正提升效率。

该研究的作者 Joel Becker、Nate Rush、Beth Barnes 和 David Rein 特别指出，他们的研究应在特定背景下审慎看待，这只是一个基于特定实验工具和条件的阶段性快照。

他们强调：“我们观察到的效率下降，并不意味着当前的 AI 工具不能提高开发者的生产力。我们发现，开发者对代码仓库的高度熟悉、仓库的规模和成熟度都促成了我们观察到的效率下降现象，而这些因素并不适用于许多其他软件开发环境。”

作者进一步指出，他们的研究结果并不意味着当前的 AI 系统没有用处，也不代表未来的 AI 模型不会表现更好。