+
95
-

llama3如何自己训练模型?

llama3如何自己训练模型?


网友回复

+
15
-

你说的微调模型。

我们可以使用ORPO技术对新的Llama 3 8B模型进行了微调。

ORPO技术的关键在于,它通过修改标准语言模型的目标函数...

点击查看剩余70%

+
15
-

还可以使用 PyTorch FSDP 和 Q-Lora 有效...

点击查看剩余70%

+
15
-

可以使用LLaMA-Factory进行模型微调:

https://github.com/hiyouga/LLaMA-Factory/

+
15
-

微调llama3等模型可以试试unsloth:

unsloth 是一个开源项目,旨在通过优化来加速大型语言模型(LLMs)的微...

点击查看剩余70%

我知道答案,我要回答