Unsloth 微调 Llama 3-一、项目说明

时间：2024-07-17 21:38:28

Llama-3-Chinese-Instruct 是基于Meta Llama-3的中文开源大模型，其在原版Llama-3的基础上使用了大规模中文数据进行增量预训练，并且使用精选指令数据进行精调，进一步提升了中文基础语义和指令理解能力，相比二代相关模型获得了显著性能提升。

GitHub：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3

安装相关依赖

unsloth 根据不同改的 cuda 版本有不同的安装方式，详见：https://blog.****.net/lovechris00/article/details/140404957

pip install --no-deps "xformers<0.0.26" trl peft accelerate bitsandbytes

下载模型和数据

Unsloth 支持很多模型： https://huggingface.co/unsloth，包括 mistral，llama，gemma

这里我们使用 FlagAlpha/Llama3-Chinese-8B-Instruct 模型 和 kigner/ruozhiba-llama3 数据集

提前下载：

export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download FlagAlpha/Llama3-Chinese-8B-Instruct
uggingface-cli download --repo-type dataset kigner/ruozhiba-llama3

数据将保存到 ~/.cache/huggingface/hub 下

你也可以使用 modelscope下载，如：

from modelscope import snapshot_download

model_dir = snapshot_download('FlagAlpha/Llama3-Chinese-8B-Instruct',cache_dir="/root/models")

安装 modelscope

pip install modelscope

相关文章