DB-GPT系列(三):底层大模型设置(开源模型、在线模型)-一、使用在线大模型

时间:2024-11-03 14:37:37

1、修改.env文件

该文件在DB-GPT/主目录下

.env文件中修改LLM_MODEL在线大模型名称、PROXY_API_URL在线大模型的API调用地址、API_KEY在线大模型的API_KEY

OpenAI设置

LLM_MODEL=chatgpt_proxyllm
PROXY_API_KEY={your-openai-sk}
PROXY_SERVER_URL=https://api.openai.com/v1/chat/completions
# 如果使用gpt-4
# PROXYLLM_BACKEND=gpt-4

通义千问设置

LLM_MODEL=tongyi_proxyllm
TONGYI_PROXY_API_KEY={your-tongyi-sk}
PROXY_SERVER_URL={your_service_url}

智谱清言设置

LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL={your_service_url}
ZHIPU_MODEL_VERSION={version}
ZHIPU_PROXY_API_KEY={your-zhipu-sk}

文心设置

LLM_MODEL=wenxin_proxyllm
PROXY_SERVER_URL={your_service_url}
WEN_XIN_MODEL_VERSION={version}
WEN_XIN_API_KEY={your-wenxin-sk}
WEN_XIN_API_SECRET={your-wenxin-sct}

Gemini设置

LLM_MODEL=gemini_proxyllm
GEMINI_PROXY_API_KEY={your_api_key}

2、在线大模型的API配置信息获取(以智谱清言为例)

(1)在线大模型的API调用地址查找

在智谱清言的的AI开放平台中,可以找到接口文档,并在接口文档中找到GLM-4的请求URL地址。

网址:智谱AI开放平台

(2)在线大模型的API_KEY获取

在智谱清言的的AI开放平台中进行注册登录

网址:智谱AI开放平台

在个人中心添加新的API key或者复制已有的API key

最后的配置如下

LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
ZHIPU_MODEL_VERSION=glm-4
ZHIPU_PROXY_API_KEY=YOUR_API_KEY

3、重新启动DB-GPT

最后,重新启动DB-GPT

# 进入DB-GPT主目录
cd /DB-GPT
# 启动DB-GPT
python dbgpt/app/dbgpt_server.py

检查DB-GPT是不是有修改后的大模型