Kimi K3 总参数 2.8 万亿,原生 MXFP4 权重文件约 1.56TB,完整部署需要至少 1680GB 显存,普通消费级显卡完全无法运行,仅企业集群可落地。
最低入门方案为分布式多机集群,两套主流可选硬件:
方案一采用 8 卡 AMD MI355X 服务器,整机成本 170 万 - 240 万元,仅能加载模型,推理速度慢、难以稳定支撑百万 Token 长上下文;
方案二使用两台 8 卡 H200 服务器组网,硬件总价 730 万至 800 万元,满足基础推理需求。
生产稳定运行推荐 64 张高端 GPU 组成超节点集群,整体投入接近 3000 万元。
硬件除高端 GPU 外,还需配套高速 IB 互联网卡、大容量 NVMe 存储、多路高端 CPU 与海量内存,保障多卡并行数据传输。
普通开发者没有低成本本地部署路径,相比自建千万级硬件集群,直接调用官方 API 是更经济务实的选择。
网友回复


