第六节 LLAVA模型CLI推理源码解读(多轮对话推理方式与原理(prompt与assistant))
为什么介绍cli.py方式进行推理呢？答案很简单，我想通过这个代码告知读者，模型是如何进行推理的，明确输入内容处理方式和模型输出内容，以及多轮对话输入与模型输出内容，而借助推理等方式是需要使用服务啥的客户端或服务端等，是比较麻烦的工程问题。因此，本文将介绍cli推理方式，露骨告知其推理原理与整个数据流程。同时，我也将使用列子与结果，实现三轮对话，说明模型如何工作或完成对话能力。然而，这部分内容和我之前数据章节有些关联，请大家自行查阅。
复制链接