0,演示本地启动视频,还可以配合fastcht部署chatglm3大模型
演示视频:
/video/BV1WC4y1k7j5/?vd_source=4b290247452adda4e56d84b659b0c8a2
【chatglm3】(10):使用fastchat本地部署chatlgm3-6b模型,并配合chatgpt-web的漂亮界面做展示,调用成功,vue的开源项目
部署脚本和方法:
/fly-llm/dify-mysql-llm/tree/master/fastchat-docker-compose
1,项目地址:
/Chanzhaoyu/chatgpt-web
ChatGPTAPI 使用 gpt-3.5-turbo-0301 通过官方OpenAI补全API模拟ChatGPT(最稳健的方法,但它不是免费的,并且没有使用针对聊天进行微调的模型)
ChatGPTUnofficialProxyAPI 使用非官方代理服务器访问 ChatGPT 的后端API,绕过Cloudflare(使用真实的的ChatGPT,非常轻量级,但依赖于第三方服务器,并且有速率限制)
2,项目启动,使用docker-compose 启动项目
version: '3'
services:
app:
image: chenzhaoyu94/chatgpt-web # 总是使用 latest ,更新时重新 pull 该 tag 镜像即可
ports:
- 3002:3002
environment:
# 二选一
OPENAI_API_KEY: sk-xxx
# 二选一
OPENAI_ACCESS_TOKEN: xxx
# API接口地址,可选,设置 OPENAI_API_KEY 时可用
OPENAI_API_BASE_URL: xxx
# API模型,可选,设置 OPENAI_API_KEY 时可用
OPENAI_API_MODEL: xxx
# 反向代理,可选
API_REVERSE_PROXY: xxx
# 访问权限密钥,可选
AUTH_SECRET_KEY: xxx
# 超时,单位毫秒,可选
TIMEOUT_MS: 60000
# Socks代理,可选,和 SOCKS_PROXY_PORT 一起时生效
SOCKS_PROXY_HOST: xxx
# Socks代理端口,可选,和 SOCKS_PROXY_HOST 一起时生效
SOCKS_PROXY_PORT: xxx
# HTTPS 代理,可选,支持 http,https,socks5
HTTPS_PROXY: http://xxx:7890
docker-compose up -d
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
eca262c45456 chenzhaoyu94/chatgpt-web "…" 7 seconds ago Up 6 seconds 0.0.0.0:3002->3002/tcp, :::3002->3002/tcp nodeworkspace-app-1
可以配置验证码:xxx
没有配置好key 和 证书显示:
3,配置好了之后就可以使用了
效果如下,使用最新版本的chatgpt 3.5
还可以配合本地大模型chatglm3
方法:
/fly-llm/dify-mysql-llm/tree/master/fastchat-docker-compose
配置修改,修改成fastchat api 的ip地址,和端口,不用增加 v1 路径!:
services:
app:
container_name: chatgpt-web
image: chenzhaoyu94/chatgpt-web # Always use latest, just pull the tag image again when updating
ports:
- 3002:3002
environment:
# pick one of two
OPENAI_API_KEY: 1234
# pick one of two
OPENAI_ACCESS_TOKEN:
# API interface address, optional, available when OPENAI_API_KEY is set
OPENAI_API_BASE_URL: http://192.168.1.116:8000
# API model, optional, available when OPENAI_API_KEY is set
OPENAI_API_MODEL: gpt-3.5-turbo
# reverse proxy, optional
运行效果: