Devin试用吐血整理:AI工具究竟能否替代程序员?

AI前沿3周前更新 yizz
2,387 0 0
广告也精彩

Devin #工具

Devin 一个月试用体验:真的能替代程序员吗?

为什么要做 Devin 的一个月试用?

这篇文章的作者想通过 一个月 的实际使用,来评估 Devin 这个号称能替代程序员的 AI 代码工具 的真实表现。他们主要关注 Devin 在以下 三类任务 中的能力:

  1. 从零开始创建新项目Devin 是否能独立完成一个新项目的搭建?
  2. 执行研究类任务Devin 能否胜任需要调研和分析的任务?
  3. 分析和修改现有项目Devin 修改和完善现有代码的能力如何?

Devin 的表现如何?

作者团队给 Devin 分配了 20 多个任务,结果却令人失望:

  • 失败任务:14 个。 大部分任务 Devin 都无法成功完成。
  • 成功任务:3 个(包括之前的 2 个初始成功)。成功率非常低。
  • 结果不确定:3 个。 部分任务的结果难以评估。

更糟糕的是,Devin 的表现 不可预测,即使是之前成功完成的任务类型,也可能在后续失败。

团队成员的真实反馈

Johno Whitaker 的观点:

“当它能做的任务非常小、需求非常明确时,我自己动手可能会更快,还能保持我的风格。它似乎难以在更大的任务中节省时间,尤其是那些我可能希望通过它来提高效率的任务,它常常搞砸了。所以,我感觉还没有一个我真正想用它的场景。”

  • 小任务效率低:对于简单、明确的小任务,Devin 的效率甚至不如人工。
  • 大任务频频出错:对于需要 Devin 提高效率的大型任务,Devin 往往会搞砸。
  • 缺乏实用场景:目前没有找到真正适合使用 Devin 的场景。

Isaac Flath 的观点:

“开始时我对它的表现充满期待,觉得我只要稍微调整一下就行。可随着调整的内容越来越多,我最后发现,还不如干脆自己一步步写,这样效率更高。”

  • 初期期望过高:一开始以为 Devin 只需要少量调整就能使用。
  • 调整成本过高:实际使用中,需要不断调整和修改 Devin 的结果,反而降低了效率。
  • 不如自己编写:最终发现,自己一步步编写代码的效率更高。

Hamel Husain 的观点:

Devin 无法正确使用我们在 Answer AI 里非常重要的一些内部工具,这加剧了其他问题,让它的使用体验十分不理想。尽管我们已经向它提供了大量文档和示例。我在使用像 Cursor 这样的工具时就很少遇到类似问题,因为这类工具能让我以更加渐进的方式给出提示和引导。”

  • 无法使用内部工具Devin 无法正确使用公司内部的关键工具,导致使用体验不佳。
  • 文档和示例无效:即使提供了大量的文档和示例,Devin 仍然无法正确使用。
  • 缺乏渐进引导:与 Cursor 等工具相比,Devin 缺乏渐进式的提示和引导,导致难以调试和优化。

总结:Devin 真的能替代程序员吗?

从这次一个月的试用来看,Devin 离替代程序员还很遥远。它的 成功率低表现不稳定难以适应复杂任务,并且在实际使用中 需要大量的人工干预。虽然 Devin 在某些简单任务上可能展现出一些潜力,但目前来看,它更像是一个 不成熟的工具,而不是一个能真正提高效率的助手。

感悟

我认为:这 Devin,看似来势汹汹,实则虚有其表。许是资本炒作,许是技术未臻成熟,总之,这一个月的试用,如同镜花水月,空留一地鸡毛。那些鼓吹 AI 取代人类的,怕是忘了,代码的灵魂,在于人的思想,在于缜密的逻辑,在于对细节的把控,岂是机器能轻易替代?就如这文章中所言,与其费劲心思去调整这 Devin,倒不如自己撸起袖子,一步一个脚印,来的踏实。这 Devin,终究是过眼云烟,真正的程序员,当如磐石般坚韧,不为浮华所动。

© 版权声明
chatgpt4.0

相关文章

error: Content is protected !!