+
96
-

回答

只要是兼容openai的接口都行

llm_cfg = {
    # 使用 DashScope 提供的模型服务:
    'model': 'gpt-4o',
    'model_server': 'https://api.openai.com/v1/',
    'api_key': 'sk-',

    # 使用与 OpenAI API 兼容的模型服务,例如 vLLM 或 Ollama:
    # 'model': 'Qwen2.5-7B-Instruct',
    # 'model_server': 'http://localhost:11434/v1/',  # base_url,也称为 api_base
    # 'api_key': 'EMPTY',

    # (可选) LLM 的超参数:
    'generate_cfg': {
        'top_p': 0.8
    }
}

网友回复

我知道答案,我要回答