小哥用纯 C 在 8GB 内存 CPU 跑通 Kimi K3 推理,性能 33 s/token。网友:笑死,这速度已经很厉害了

①

【导读】:有个程序员小哥 FareedKhan557 用 C99 手写推理引擎,不靠 GPU,仅 8G 内存 CPU 就能跑 Kimi K3,只是速度很慢,他的初衷只是吃透模型架构。

②

以下是译文:

我把 Kimi K3 跑在了一台仅有 8GB 内存的 CPU 上。

几周前,我在公司 32 张 H100 显卡上部署了 K3,但苦于没法在个人设备上调试它,于是我用 C99 为它写了一套推理引擎。

实现思路没有任何取巧之处。这份 1.56TB 权重文件里,93% 都是路由专家模块;896 个专家中,每个 token 仅激活 16 个,所以专家权重根本不需要常驻内存。

程序按需从 NVMe 读取专家权重,直接基于压缩后的 4bit 格式完成矩阵运算,省去反量化步骤。主干稠密层权重被重新打包为单个文件,第 L 层存放在固定偏移位置,程序逐层流式加载。常驻内存占用可由参数自由调节。

本机实测数据(双路 EPYC 7763、NVMe 固态,机内 4 张 GPU 全程闲置):

  • 最低内存预设下,RSS 峰值 8.24GB,单 token 推理耗时约 33 秒
  • 分配约 128GB 内存时,单 token 耗时约 20 秒,这也是这套实现能达到的极限速度
    区间内任意内存配置下,输出字节完全一致。


我清楚这套方案并不适合实际部署 K3。单 token 推理就要半分钟,还需要 1.7TB 空闲磁盘用来存放权重文件与打包后的主干模型。

我开发它的目的,是通过亲手实现吃透模型架构,并非拿来正式对外提供推理服务。

无 BLAS、无深度学习框架、没有 GPU 推理分支。仅 6 个 C 源码文件,依赖 libm 与 OpenMP,编译后二进制文件仅 176KB。

如果你不想贸然下载 1.56TB 权重包,可以先运行自检:克隆仓库后执行 make && make test。测试耗时约 1 分钟,无需权重文件、无需联网。脚本会构建一个拥有相同张量计算图的 13 层模型,对照固件内的 PyTorch 基准结果校验,覆盖贪心解码、带 KV 缓存与持续 KDA 状态的增量推理链路。

PS:对技术细节感兴趣的朋友,可以看看小哥的 GitHub 仓库:

https://github.com/FareedKhan-dev/kimi-k3-in-c/

③ 网友热议

“哈哈哈,刚想说 33t/s 怎么做到的 。结果反了”

“太適合兩個人戀愛用了:親愛的,等它回復完我們就分手吧~ 結局:300年後……”

“当你不得不反转单位时,你就知道 RAM 供应链危机来了 😂”

“笑死,这个性能其实也不错了。”

(参考:Reddit、X,本文经由 AI 优化)


文章原文

内容来自 ImportNew,版权归原作者所有。

阅读原文 ↗

把喜欢的内容,留在你的新标签页。

打开我的订阅