微调llama3等模型可以试试unsloth:
unsloth 是一个开源项目,旨在通过优化来加速大型语言模型(LLMs)的微调过程。该项目支持 Llama 3、Mistral 和 Gemma LLMs,可以使微调过程更快、更高效,具体表现为加速比 2-5 倍,且大幅度降低内存消耗,约为原来的 20%。


https://github.com/unslothai/unsloth
网友回复
python能写一个检测nginx rewrite高危漏洞的工具代码?
css如何给video视频进行mask遮罩?
windows如何同时允许两个用户远程桌面连接同一个电脑?
nginx升级到1.30.1导致无法启动 [emerg] SSL_CTX_new() failed怎么办?
什么是ASLR(地址随机化)?
有没有不依赖embedding向量的RAG技术?
有没有支持实时打断语音通话并后台帮你执行任何的ai模型?
开源ai大模型文件格式GGUF、MLX、Safetensors、 ONNX 有什么区别?
出海挣钱支付收款PayPal、Wise 、PingPong、Stripe如何选择?
如何实现类似google的图片隐形水印添加和识别技术?


