+
72
-

python如何使用fastapi搭建一个大模型流式输出api?

python如何使用fastapi搭建一个大模型流式输出api?


网友回复

+
19
-

我们以qwen为例,qwen也是兼容openai协议的,搭建一个api代理后,访问本地localhost就能流式输出结果。

800_auto

点击查看python代码

我知道答案,我要回答