浅谈人工智能之基于阿里云使用vllm搭建Llama3

时间：2024-10-24 09:49:53

浅谈人工智能之基于阿里云使用vllm搭建Llama3

引言

随着人工智能技术的迅速发展，Llama3作为一个先进的语言模型，受到广泛关注。本文将介绍如何在阿里云上使用VLLM搭建Llama3，为用户提供一套完整的技术流程。

环境准备

阿里云账户

确保您拥有有效的阿里云账户，并已相关云服务，以我为例，开通的是交互式建模 PAI-DSW。

程序安装

conda安装

第一步：根据自己的操作系统下载对应的安装脚本

wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh

第二步：运行脚本

bash Anaconda3-2024.02-1-Linux-x86_64.sh

第三步：根据提示进行环境配置并安装完成，详情可见：
conda安装

vllm安装

conda安装完成以后，我们可以继续安装vllm
第一步：使用conda创建vllm环境

conda create -n vllm python=3.10

第二步：激活vllm

conda activate vllm

第三步：安装vllm相关包

pip install vllm

第四步：因为我们需要通过modelscope下载相关模型，所以我们需要下载modelscope相关依赖

pip install modelscope

Llama3安装

vllm安装完成以后，我们可以继续安装Llama3
第一步：创建路径

mkdir models
cd /mnt/workspace/models

第二步：安装Llama3

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

服务启动和测试

当准备工作做完以后，我们就可以进行服务启动和测试
第一步：服务启动

python -m vllm.entrypoints.openai.api_server --model /mnt/workspace/models/Meta-Llama-3-8B-Instruct --dtype auto --api-key 654321

补全模式

我们编写一个补全模式下的测试代码，测试代码如下

from openai import OpenAI

client = OpenAI(
   base_url="http://localhost:8000/v1",
   api_key="654321",
)
print("服务已成功连接")
completion = client.completions.create(
  model="/mnt/workspace/models/Meta-Llama-3-8B-Instruct",
  prompt="北京是",
  max_tokens=128,
)
print("### 北京是: ")
print("Completion result: ", completion)

聊天模式

我们编写一个聊天模式下的测试代码，测试代码如下

from openai import OpenAI

client = OpenAI(
  base_url="http://localhost:8000/v1",
  api_key="654321",
)
print("服务已成功连接")

completion = client.chat.completions.create(
model="/mnt/workspace/models/Meta-Llama-3-8B-Instruct",
messages=[
    {"role": "system", "content": "你是一位高级助手."},
    {"role": "user", "content": "中国的首都是哪里?"}
  ],
  max_tokens = 128,
)
print(completion.choices[0].message)

分别运行上述脚本，得到的结果如下
在这里插入图片描述
至此基于阿里云使用vllm搭建Llama3完成。

相关文章