一、模型介绍
Peach-9B-8k-Roleplay 是一种聊天大型语言模型，它是通过我们的数据合成方法创建的超过 100K 的对话中微调 01-ai/Yi-1.5-9B 模型而获得的。
也许是 34B 以下参数最好的 LLM。
二、部署过程
1、更新环境
apt update
2、安装Miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
3、创建虚拟环境
conda create -n Peach-9B-8k-Roleplay python=3.10
conda activate Peach-9B-8k-Roleplay
4、克隆模型
模型数据量较大，将模型下载在数据盘，切换路径到/root/sj-tmp，下载模型。
cd /root/sj-tmp
git lfs install
git clone https://www.modelscope.cn/roleplay/Peach-9B-8k-Roleplay.git
5、安装依赖
模型下载完成以后，更换路径到cd /，便于将依赖环境安装在系统盘。该模型没有给定依赖环境相关包的版本，需要手动安装。
cd /
pip install torch==1.13.1
pip install gradio==3.50.2
pip install transformers==4.37.2
pip install sentencepiece
pip install tokenizers
pip install protobuf
pip install accelerate
6、指定端口，运行模型
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python /root/sj-tmp/Peach-9B-8k-Roleplay/demo.py
三、界面演示
1、进入WebUI使用
2、输入问题，进行对话
3、或者根据自己需要修改参数以后，再进行对话。
4、自己设定提示符
