L1G4000 InternLM + Llamaindex RAG 实践

时间:2024-10-29 17:06:43

0 教程通关

下载Sentence Transformer 模型,遇上下载错误的时候

requests.exceptions.ReadTimeout: (ReadTimeoutError("HTTPSConnectionPool(host='cdn-lfs.hf-mirror.com', port=443): Read timed out. (read timeout=10)"), '(Request ID: f181a175-f393-4277-82f4-364f8006226e)')

代码中增加timeout可以解决

import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
os.environ['HF_HUB_DOWNLOAD_TIMEOUT']='60'

# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

软连接可以避免复制操作,占用存储

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ ./

在无rag下,查询xtuner
在这里插入图片描述安装llama-index那句命令行执行后,它会卸载pytorch,装上2.5.0版的。会导致和cuda不匹配报错
在这里插入图片描述

装完包后把pytorch卸载重新装2.0.1的就好了
运行成功
在这里插入图片描述
运行结果显示,出现我们想要的答案
在这里插入图片描述

1 诺奖知识机器人

在这里插入图片描述
把百度百科相关的2024诺奖信息输入后,可以正确回答了
在这里插入图片描述
运行机器人。注意服务器上是没有浏览器的。因此需要在本地ide 用ssh连接服务器后,在本地ide上打开链接
在这里插入图片描述
在这里插入图片描述