+
95
-

如何将GGUF模型转换成成Ollama可运行的模型?

如何将GGUF模型转换成成Ollama可运行的模型?


网友回复

+
15
-

创建Modelfile是将模型导入ollama框架的第一步,过程简单直观。

以下是创建Modelfile的基本步骤:

1、新建一个目录,目录下新建Modelfile文件,文件内容如下:

FROM ./llama3-8b-v0.1.Q4_0.gguf
TEMPLATE "[INST] {{ .Prompt }} [...

点击查看剩余70%

我知道答案,我要回答