+
82
-

70B的ai大模型需要多大的gpu显存才能跑起来?

70B的ai大模型需要多大的gpu显存才能跑起来?


网友回复

+
28
-

运行一个70B参数的AI大模型通常需要非常高的GPU显存。具体需求取决于模型的精度和分布方式:

FP32精度(单精度浮点):每个参数大约需要4字节,因此70B参数大概需要280GB显存。FP16精度(半精度浮点):每个参数大约需要2字节,因此需要140GB显存。INT8量化:可以进一步压缩到约70GB显存。

因此,单卡一般无法支持这么大的模型,通常需要多个高显存GPU(如NVIDIA A100 80GB或H100...

点击查看剩余70%

我知道答案,我要回答