+
110
-

大模型微调怎么估算显存?

大模型微调怎么估算显存?

网友回复

+
26
-

给你一个不用算公式、一看就会、实战够用的显存估算方法,专门针对大模型 LoRA / 全量微调,简单粗暴但非常准。

一、记住一条核心公式

微调显存 ≈ 模型权重显存 × 系数系数看你用什么微调方式:

1)LoRA 微调(最常用)

系数:1.2~1.5 倍

公式:

显存 ≈ 模型大小 × 1.3

例子:

7B 模型 ≈ 9GB 显存

13B 模型 ≈ 17GB 显存

34B 模型 ≈ 44GB 显存

实际跑起来一般 7B=10G 左右、13B=18G 左右

2)全参数微调 Full Fine-tune

系数:6~...

点击查看剩余70%

我知道答案,我要回答