RTX 4090 上 100 token/s 跑 125B 模型：消费级硬件重新有了分量
结论
开源项目 Strata（MIT 许可）让 Qwen3.8-Flash-Next（125B）可以在 12 GB 以上显存的普通游戏 PC 上运行，在 RTX 4090 上达到约 100 token/s 的生成速度；模型约 70 GB 下载，需要 32 GB 以上内存与约 80 GB 磁盘。关键不是"能跑起来"，而是"跑得动交互" —— 100 token/s 已经明显超过人类阅读速度，本地推理第一次有了日常可用的手感。
三个要点
- 门槛结构变了。 过去自托管大模型的门槛是「买卡」，现在更多是「加内存 + 留磁盘」。这意味着很多已有游戏 PC 的人可以零显卡升级直接入场。
- 隐私场景的价值最直接。 代码、内部文档、日志分析这类不能出内网的活儿，现在有了「完全本地 + 可交互」的选项，而不必在「上传云端」和「用不了」之间二选一。
- 别把数字直接外推。 125B 能在消费级硬件上跑到这个速度，靠的是量化与稀疏激活。长上下文、复杂多步推理、高精度任务上的落差需要自己实测，宣传数字通常是最有利的那个场景。
对你意味着什么
预算优先级：内存 > 显卡。 32 GB 是底线，64 GB 会显著改善长上下文体验；显存 12 GB 起可用，但更大显存能减少量化损失。
先按场景试点，不要一次性替换。 挑一个内网、低频、格式固定的任务（比如日志归类、文档摘要）先跑两周，把失败样本收齐，再决定是否扩大范围。
仓库开源可自建，值得收藏。 这类项目的价值不只是省 API 费用，更是把「数据不出内网」从承诺变成了可验证的事实。
注意授权与合规边界。 能在本地跑不代表商用没有约束，模型自身的许可条款、训练数据来源的合规性，仍需要在落地前确认 —— 尤其是把模型输出用于对外交付的场景。
一句话：当 125B 模型能在你的游戏机上流畅对话，本地 AI 就从「极客玩具」变成了「可选项」。
参考来源
- GitHub：Niko1221/Strata