给你一个不用算公式、一看就会、实战够用的显存估算方法,专门针对大模型 LoRA / 全量微调,简单粗暴但非常准。
一、记住一条核心公式
微调显存 ≈ 模型权重显存 × 系数系数看你用什么微调方式:
1)LoRA 微调(最常用)
系数:1.2~1.5 倍
公式:
显存 ≈ 模型大小 × 1.3
例子:
7B 模型 ≈ 9GB 显存
13B 模型 ≈ 17GB 显存
34B 模型 ≈ 44GB 显存
实际跑起来一般 7B=10G 左右、13B=18G 左右
2)全参数微调 Full Fine-tune
系数:6~...
点击查看剩余70%