实际工作中的大模型微调，影响微调结果有多个因素，而且训练数据至少上万。此处为了展示训练效果，仅用了少量数据:
- 基座大模型质量
- 训练数据质量，训练数据数量…
- 微调方法：full, freeze, lora
- 微调参数：learning rate，Epochs，Max samples，量化等级等
- 测试方法，覆盖度等
微调不是件容易的事，需要大量硬件成本，时间成本，精力投入，反复调整训练参数和数据，并没有所有模型通用的标准固定训练参数或数据。部分参数，只能说根据过往经验和参数本身意义，有一个相对合理的范围。