放在两年前，这句话几乎没有人会相信，因为本地部署有一条不成文的规律：显存有多大，模型就只能跑多大。
例如12GB 跑 12B，16GB 跑 16B，想跑 125B，起码得 80GB 以上显存的设备。但如今，它确实能跑起来了：每秒输出 83 个汉字，还非常聪明。
让这件事成立的开源项目叫 Strata。它究竟是怎么做到的？你手上的 RTX 50 系显卡，又能不能跑起来？往下看，小驰通过实测告诉你！
01 Strata 是什么？
Strata是一个开源引擎，专门解决「模型比显卡大」这件事。
这次测试的模型为「Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S」，125B 参数、3.5bit 量化，文件大小有 83.6GB；而一张 RTX 5070 的显存是 12GB。相当于83本书，要摊在一张只放得下 12 本书的桌子上。
过去的软件项目遇到这种情况只有两条路：直接报错（爆显存），或者把书全堆到身后的书架上，让书桌空着，再一本一本地拿到桌子上翻。但速度只有每秒四五个字，一句话要等半分钟。
Strata 选了第三条路走：桌上只留马上要用的，其余放书架和储藏室，用完就换。于是分成了三层放：
显存：最常翻的几本，就放桌上；内存：模型中的46.8GB 大小的专家全部放在身后的书架；SSD：28.8GB 的辅助文件收进储藏室，用到才拿出来看。所以运行速度快不快，主要取决于你要用的那本书是否正好就在显存里，放不放得下？这就是为什么，如今125B的大语言模型，也能在消费级显卡上运行。
02 实测：影驰50系显卡跑125B大模型
本次测试在同一台机器、同一个模型、同一组参数进行测试，全程只更换显卡：影驰 RTX 5070 圣刃 OC（12GB）与影驰 RTX 5080 HOF Extreme（16GB）。
03 结果一：5070可跑125B_Q3版模型
在三轮日常提问与生成代码的测试中，实测单流速度是65.1（5070圣刃）和87.5（5080 HOF）tok/s。模型按 token 计数，中文一个 token 约合 1.28 个字，折算成汉字就是每秒 83 个和 112 个，问答流程非常流畅。
举个日常的例子：Agent给一段 400 字的回答，5070 要等 4.8 秒，5080 要等 3.6 秒，实际相差1.2 秒。
04 结果二：速度上，5080比5070快 34%
在本次Strata实测中，单流速度主要由其中一件事决定：显存能装下多少专家。
拿结果一的测试数据来对比，5080跑 87.5 tok/s，5070跑 65.1 tok/s，前者比后者快 34%。差别在桌面上可以放下多少本专业书——即专家缓存，5080 的 16GB 能常驻 3694 个，5070 的 12GB 只有 1672 个，可见前者多出来的4GB显存实际装进了更多的专家缓存，这也是它token输出速度更快的原因之一。
05 结果三：125B模型装进50系显卡也能干活
快不等于对。模型压得越狠，越容易出三种毛病：说话重复、算数出错、看长文漏行。把模型从 16bit 压到 3.5bit，好比报价时把「38.6 元」记成「39 元」——虽省下四倍多的空间，但精度却缺失了。
本次测试，我们丢给模型一份2 万字、251 条的硬盘运维台账，问三个必须真读过材料才答得出的问题。
结果是两张卡都是三道全对，且模型的每一份回答都能精准定位原材料，所以不必担心“压得狠会不会变傻”的问题。
06 结果四：聊久不掉速，但第一句回复要等
大模型有个通病：聊得越长，答得越慢。这次测试中我们分别把三份不同长度（6.9k、11.4k、21.8k个 token）的文字分别发送给它并提问，看速度会不会因上下文变长而下降。
结果是速度没有掉，5080 在最长那一档（最右侧深红色）还有 90.9 tok/s，比短对话的 87.5 还略高；5070 是 65.0tok/s，和短对话（最左侧淡红色）的 65.1 几乎一样。
两卡在长文场景下真正的差别只在开头（Prefill），模型得先把材料整体读一遍，才吐得出第一个字，这一步 5080 明显更快。同一份材料，5080 用 4.1 秒读完，5070 要 8.1 秒。材料读完之后接着追问，出字速度恢复如初。所以，有经常分析长文档需求的小伙伴，选择16GB显存的5080 HOF显卡来部署Strata会更省心；偶尔问几句、写写代码的话，12GB的5070圣刃也完全够用。
07 Strata跑125B模型应该用哪张50系显卡？
在与本次测试相似的配置下，显存余量更大、可常驻专家更多的影驰 RTX 5080 HOF 系列，是部署 Strata 跑 125B 大模型的更优选择；如果只是日常问答、优化代码、处理文档，影驰 RTX 5070 系列同样可以流畅运行。
