论文笔记--Llama3 report

时间：2024-10-28 08:07:43

论文笔记--Llama3 report

  • 1. 文章简介
  • 2. 性能升级
  • 3. 模型升级
    • 3.1 模型架构升级
    • 3.2 数据升级
    • 3.3 指令微调
  • 4. 原文传送门
  • 6. References

1. 文章简介

  • 标题：Llama3 Report
  • 作者：Meta
  • 日期：2024.04

2. 性能升级

  Llama3系列本次开源了8B和70B模型，在多个benchmarks上取得了SOTA表现。具体评估细节可以参见github
meta3-performance
  本次验证增加了高质量的人工评估集，涵盖12种场景（寻求建议、头脑风暴、分类、闭源QA、编码、创意写作、信息抽取、角色扮演、开放QA、推理、重写、摘要）共计1800个prompts。Llama3在这些prompts上表现超过GPT-3.5等模型：
winrates

3. 模型升级

3.1 模型架构升级

  相比于Llama2[1]，Llama3在模型架构上没有明显改变，仍采用transformer的decoder架构，模型架构升级如下

  • 词表大小由32K升级为128K
  • 采用GQA编码（Llama2也采用了GQA）
  • 上下文长度从4K增加为8k(8192)个tokens，并使用mask保证self-attention不跨文章
    model-arc

3.2 数据升级

  相比于Llama2，Llama3的数据也进行了升级，主要升级如下

  • 总tokens数从2T增加到15T
  • 包含更多的代码
  • 包含超过5%的非英文语料
      为了保障数据质量，Llama3构建了数据清洗pipelines，包含启发式规则，NSFW（不安全内容过滤）、语义去重。此外，Meta基于Llama2的高质量内容生成能力，通过Llama2生成数据来训练文本质量分类器。

3.3 指令微调

  Llama3采用了SFT、PPO、DPO组合的方式进行后训练（Post-training），Meta精心筛选了prompts的质量，从而大幅提高了模型表现。Meta发现模型有时候知道如何产生正确答案但不知道如何选择它，而通过PPO和DPO可提高模型的选择能力，从而提高在推理和编码任务上的表现。

4. 原文传送门

Meta Llama3 report
Meta Llama3 Model

6. References

[1] 论文笔记–Llama 2: Open Foundation and Fine-Tuned Chat Models

相关文章