【快捷部署】018_Ollama（GPU版）
#!/bin/bash
#################################################################################
# 作者：cxy@toctalk@hwy 2024-04-09
# 功能：自动部署Ollama（Docker方式，GPU）
# 说明：如果已安装了Docker，请注释掉 install_docker，避免重复安装
#################################################################################
info(){
echo -e "\033[34m 【`date '+%Y-%m-%d %H:%M:%S'`】\033[0m" "\033[35m$1\033[0m "
}
install_docker(){
#!/bin/bash
info "安装依赖..."
yum -y install gcc
yum -y install gcc-c++
##验证gcc版本
gcc -v
info "安装Docker（指定版本：23.0.6）"
wget /docker-ce/linux/centos/ -O/etc//
##更新yum软件包索引
yum makecache fast
## 安装docker ce cli
# 查看可安装版本：yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7
info "启动Docker并验证"
systemctl enable docker && systemctl start docker
docker version
## 创建加速器
#cd /etc/docker
#if [ ! -f "$" ]; then
# touch "$"
#else
# rm -rf
# touch "$"
#fi
#tee /etc/docker/ <<-'EOF'
#{
# "registry-mirrors": ["https://自己的镜像加速器地址"]
#}
#EOF
#systemctl daemon-reload
#systemctl restart docker
info "Docker（23.0.6）安装完毕！"
}
# 安装 Ollama
install_Ollama(){
info "参考IP地址："$(hostname -I)
read -p "请问，您当前服务器的内网IP地址是？:" inner_ip
inner_ip="${inner_ip:-127.0.0.1}"
curl -s -L /libnvidia-container/stable/rpm/ \
| sudo tee /etc//
sudo yum install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
info "ollama部署完毕，开始下载qwen:0.5b模型..."
docker exec -it ollama ollama run qwen:0.5b “你好”
info "qwen:0.5b模型加载完成，开始部署webui界面..."
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always /open-webui/open-webui:main
eip=$(curl /ip)
info "部署完毕，正在启动WEBUI界面，大约5分钟后，请访问：http://${eip}:3000"
}
install_docker
install_Ollama