+
95
-

回答

微调llama3等模型可以试试unsloth:

unsloth 是一个开源项目,旨在通过优化来加速大型语言模型(LLMs)的微调过程。该项目支持 Llama 3、Mistral 和 Gemma LLMs,可以使微调过程更快、更高效,具体表现为加速比 2-5 倍,且大幅度降低内存消耗,约为原来的 20%。

800_auto

800_auto

https://github.com/unslothai/unsloth

网友回复

我知道答案,我要回答