搜索

+

95

-

回答

试试这个开源框架exo，可以在算力不足的普通电脑上分布式运行，每台电脑上启动exo，自动通过p2p提供算力，运行像llama3.1 4050亿参数的大模型，可以不用英伟达的4090显卡：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
     "model": "llama-3-8b",
     "messages": [{"role": "user", "content": "What is the meaning of exo?"}],
     "temperature": 0.7
   }'

https://github.com/exo-explore/exo

网友回复

我知道答案，我要回答

我有问题

最新提问