让模型自己写推理引擎：Baseten 实测提速 90% 的真正含义
观点：推理优化的下一波红利，来自「让模型改模型」
Baseten 工程师让 Claude Code 参考 MetaInfer 论文，为 Qwen-3.6-35B-A3B（NVFP4、单张 B200）自动构建了一套名为 VibeQwen 的推理引擎。结果不是"略有改善"，而是单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降到 12ms，并发 32 时吞吐高 71%。
这件事的价值不在那几个数字，而在方法。
三个要点
- 优化对象变了。 过去调推理靠人读 profiler、手写 kernel；现在把"生成-编译-压测-回退"的过程交给编码智能体，人只负责定目标和验收。
- 收益集中在窄口径场景。 单卡、单一模型、固定量化格式（NVFP4），这类边界清晰的问题最适合自动搜索；换成多模型混部、动态批处理，结论未必复现。
- 复现成本比想象低。 链路里不需要定制硬件，需要的是一套可信的回归基准——没有它，任何"提速 90%"都只是故事。
一个容易被忽略的前提：vLLM 是通用框架，天然要为兼容性付出开销。窄口径引擎赢，赢在"只做一件事"，而不是赢在算法更聪明。
对读者的实际建议
- 先量出自己的 baseline：首 token、单流解码、目标并发下的吞吐，三项都要有。
- 再把"生成推理引擎"当成一次优化实验纳入 CI，用固定输入集做回归，防止某次自动生成把正确性改坏。
- 如果你跑的是单卡私有模型，这条路值得试；如果是多租户平台，优先级往后放。
结论：这一轮比拼的不是谁的框架更全，而是谁有能力把"模型生成的优化"安全地留在生产环境里。
参考来源
- Baseten 工程博客：Agentic inference optimization: 50-90% faster engines
- 素材索引：AI HOT（aihot.news）