LLaMA-Factory学习笔记(1)——采用LORA对大模型进行SFT并采用vLLM部署的全流程-5. 合并文件

时间：2024-11-09 07:04:50

合并文件的yaml文件（注意不是训练的yaml文件，需要新建一个，我最开始以为两个是一个文件）可以参考https://github.com/hiyouga/LLaMA-Factory/blob/main/examples/merge_lora/qwen2vl_lora_sft.yaml，具体而言：

### Note: DO NOT use quantized model or quantization_bit when merging lora adapters

### model
model_name_or_path: Qwen/Qwen2-VL-7B-Instruct
adapter_name_or_path: saves/qwen2_vl-7b/lora/sft
template: qwen2_vl
finetuning_type: lora

### export
export_dir: models/qwen2_vl_lora_sft
export_size: 2
export_device: cpu
export_legacy_format: false
  • model_name_or_path：如上面一样是原始模型的路径。
  • adapter_name_or_path：LORA的参数位置，即第四步中output_dir的路径。
  • export_dir：合并后的文件路径。
  • export_size：单个文件的最大大小（GB）。

运行命令：

llamafactory-cli export yaml路径

相关文章