快科技11月13日消息，有玩家在社区发帖称，他用一台没插显卡的老服务器跑起了月之暗面的Kimi K3大模型，靠的不是显存，是英特尔已经停产的傲腾持久内存。
Kimi K3是2.8万亿参数的混合专家模型，每个token只激活其中约1040亿参数，官方模型卡标称上下文104万token。
这种体量的模型哪怕压到1bit量化，也要几百GB内存才装得下，普通家用主板插满也凑不出来。他用的是一颗40核的第三代至强可扩展处理器，内存走傲腾持久内存200系列，单条最高512GB。
软件用的是llama.cpp，把傲腾设成App Direct模式，直接当内存给程序读写，而不是那种把傲腾当硬盘缓存、由系统自己调度的Memory Mode。
速度是这套方案要付的代价，1bit量化下他测到每秒0.85个token，关掉DAX也就是直接访问之后，能到1.5个。
换成3bit量化，成绩是每秒约0.75个，按这个速度算，让它写几百字要等好几分钟，输出5万个token要18.5个小时。
傲腾的功耗和温度也不省心，英特尔数据表里这一代单条功耗上限18瓦，介质温度到83摄氏度开始降频，85摄氏度直接保护性关机。
快科技查阅英特尔公告得知，2022年第二季度，英特尔启动傲腾内存业务收缩，同季度计了5.59亿美元库存减值，这批内存从此没有下一代。
