本文是LLM系列文章，针对《A Survey on Efficient Inference for Large Language Models》的翻译。
大型语言模型高效推理研究综述
- 摘要
- 1 引言
- 2 前言
- 3 分类
- 4 数据级别优化
- 5 模型级别优化
- 6 系统级别优化
- 7 关键应用场景探讨
- 8 结论
摘要
大型语言模型（LLMs）因其在各种任务中的出色表现而引起了广泛关注。然而，LLM推理的大量计算和内存要求给资源受限场景中的部署带来了挑战。该领域的工作一直致力于开发旨在提高LLM推理效率的技术。本文对现有关于有效LLM推理的文献进行了全面的综述。我们首先分析了LLM推理效率低下的主要原因，即模型大小大、二次复杂度注意操作和自回归解码方法。然后，我们引入了一个全面的分类法，将当前的文献分为数据级、模型级和系统级优化。此外，本文还对关键子领域内的代表性方法进行了比较实验，以提供定量见解。最后，我们提供了一些知识总结，并讨论了未来的研究方向。
1 引言
2 前言
3 分类
4 数据级别优化
5 模型级别优化
6 系统级别优化
7 关键应用场景探讨
8 结论
高效的LLM推理侧重于降低LLM推理过程中的计算、内存访问和内存成本，旨在优化延迟、吞吐量、存储、功率和能量等效率指标。本调查对高效LLM推理研究进行了全面回顾，提出了见解、建议和关键技术的未来方向。最初，我们引入了一种分层分类法，包括数据、模型和系统级优化。随后，在这种分类法的指导下，我们仔细检查和总结了每个层次和子领域的研究。对于模型量化和高效服务系统等成熟技术，我们进行了实验来评估和分析它们的性能。基于这些分析，我们为该领域的从业者和研究人员提供了实用的建议，并确定了有前景的研究途径。