回答-BFW问答

GGUF：llama.cpp 专用模型文件格式，自带多档位整数量化，适配 CPU / 低配置电脑、跨平台离线跑模型，体积小、兼容性拉满。

AWQ：4bit 量化算法，优先保住关键权重，精度损失小、GPU 推理快，适合服务器高性能部署。

FP8：原生 8 位浮点格式，硬件原生支持，精度介于 FP16 与整数量化之间，压缩适中、速度快，高端显卡原生加速，无额外算法损耗。