+
95
-

没有4090显卡如何在多个普通电脑上运行千亿级开源大模型?

没有4090显卡如何在多个普通电脑上运行千亿级开源大模型?

比如最新的llama3.1 4040亿参数大模型,怎么在多台普通的电脑上分布式协作运行?

网友回复

+
30
-

cake这个项目就是使用消费级的普通电脑手机pad进行...

点击查看剩余70%

+
15
-

试试这个开源框架exo,可以在算力不足的普通电脑上分布式运行,每台电脑上启动exo,自动通过p2p提供算力,运行像llama3.1 4050亿参数的大模型,可以不用英伟达的4090显卡:

curl http://localhost:800...

点击查看剩余70%

我知道答案,我要回答