2013年老GPU别扔!破解版PS4本地跑90亿参数大模型:43Token/秒比电脑还快
  • 青山
  • 2026年11月17日 11:55
  • 0

快科技11月17日消息,破解版PS4也能在本地跑大模型了。开发者Leonardo Alegría正式发布了名为Garlic LLM的开源项目,成功让这款2013年的老旧硬件本地运行了拥有90亿参数的阿里通义千问Qwen3.5-9B大模型。

实测数据显示,该项目在文本聊天模式下的生成速度最高可达43Token/秒,表现甚至优于部分主流PC平台。

2013年老GPU别扔!破解版PS4本地跑90亿参数大模型:43Token/秒比电脑还快

这款Garlic LLM与通常依赖Vulkan或OpenCL驱动层的方案不同,该项目彻底绕过了PS4的图形驱动,通过OpenCL C直接编写针对AMD GCN架构的计算算子,并手动构建PM4指令缓冲直接与GPU通信。

这种越级通信方式大幅降低了指令延迟,使得即便主频较低的PS4显卡也能满负荷处理复杂的矩阵运算。

而且为了适配PS4仅有的8GB统一内存,开发者将Qwen3.5-9B模型进行了4位(4-bit)量化处理,将模型体积压缩至约4.5GiB。

2013年老GPU别扔!破解版PS4本地跑90亿参数大模型:43Token/秒比电脑还快

除了纯文本生成,Garlic LLM还集成了完善的语音交互链条。它利用Nvidia的Parakeet模型实现25种欧洲语言的语音识别,并通过Chatterbox模型提供7种语言的语音合成输出。

在开启语音交互的情况下,模型运行速度仍能维持在22Token/秒左右。这意味着玩家只需通过手柄按键录音,即可与PS4进行完全离线的流畅语音对话,且无需任何互联网连接。

目前该项目已在Hugging Face平台开放下载,安装包体积约为5.66GB,要求PS4主机必须运行GoldHEN自制系统环境,开发者已经在固件版本为11.52的PS4 Slim主机上完成了全部测试。

2013年老GPU别扔!破解版PS4本地跑90亿参数大模型:43Token/秒比电脑还快

文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0