搜索

+

96

-

回答

只要是兼容openai的接口都行

llm_cfg = {
    # 使用 DashScope 提供的模型服务：
    'model': 'gpt-4o',
    'model_server': 'https://api.openai.com/v1/',
    'api_key': 'sk-',

    # 使用与 OpenAI API 兼容的模型服务，例如 vLLM 或 Ollama：
    # 'model': 'Qwen2.5-7B-Instruct',
    # 'model_server': 'http://localhost:11434/v1/',  # base_url，也称为 api_base
    # 'api_key': 'EMPTY',

    # （可选） LLM 的超参数：
    'generate_cfg': {
        'top_p': 0.8
    }
}

网友回复

我知道答案，我要回答

我有问题

最新提问