Agent 写的代码 86% 能活下来:这个指标比「生成速度」诚实得多

一个容易被当成宣传口径的数字值得认真读:智能体生成代码的存活率,从 GPT-4.1 时期的 55% 升到了 86%;同时 VS Code 团队借助 AI 把发布节奏从月更改成了周更,切换到 TypeScript Go 后构建速度提升约 10 倍。三个数字凑在一起,指向的其实是同一件事。
存活率比生成速度诚实
- 55% 的真实含义:生成 100 个改动,45 个最终被丢弃或重写;
- 86% 的含义:只有 14 个被丢。返工量从 45 降到 14,下降了约三分之二——注意这是绝对量降幅,不是「提升了 31%」这种相对说法。
- 更关键的是存活率测的是「人愿不愿意留下这段代码」:可读性、可维护性、与既有架构的一致性,这些恰恰是 benchmark 测不到的。
生成速度只说明模型打字快;存活率才说明它有没有在帮倒忙。
周更的前提是自动化验证
把发版周期从月压到周,风险不在开发速度,而在验证速度:
- 没有自动化测试与灰度通道,发得快等于崩得快;
- AI 生成的改动量大、来源多样,更需要强制性的回归覆盖;
- 因此「周更」本质是工程基础设施工厂的产能体现,不是 AI 单独的成绩。
别忽略工具链本身
TypeScript Go 带来约 10 倍构建提速,说明编译器与工具链的性能仍是瓶颈。AI 能生成代码,但不能替代底层工程优化——这两件事经常被混为一谈。
给团队的可操作建议
- 自建口径:统计「AI 生成并合入主干的代码,30 天后仍留在仓库的比例」,比厂商 benchmark 可信;
- 按「返工量」而非「生成量」核算收益,否则容易高估节省;
- 想让 AI 改动的价值最大化,先把测试覆盖和 CI 速度补上,顺序不能反。
判断:「周更 + 86% 存活率」不是两条新闻,而是同一条因果链——验证能力上来了,模型产出的留存率才上得来,发布节奏才敢加快。
参考来源
- X @hongming731:BestBlogs 早报(VS Code 周更 / 智能体代码存活率 55%→86% / TypeScript Go)(x.com/hongming731/status/2106534639485714701)
延伸阅读:68 分要 14.19 美元:Coding Agent 榜单把「能力强」和「用得起」拆成了两个指标 · 想在主题里加自己的代码,子主题应该怎么建?