+
50
-

llama3如何量化得更小一点?

llama3如何量化得更小一点?


网友回复

+
0
-

llama.cpp这个项目可将大模型量化成不同的大小让不同设备上都能运行大模型。

https://github.com/ggerganov/llama.cpp

800_auto

我知道答案,我要回答