笔记本也能飞：运行chat大模型

时间：2024-01-22 18:15:11

背景

在过去的一年，ChatGPT的崛起彻底改变了我们与AI的交互方式。它不再是被动的信息提供者，而是成为了一个可以与我们*交流、分享知识的伙伴。无论是生活中的琐事，还是工作中的难题，ChatGPT都能给出有价值的建议和信息。

同时，ChatGPT也在各个领域引发了深远的变革。在教育领域，ChatGPT可以为学生提供个性化的辅导，帮助他们理解复杂的概念。在商业领域，ChatGPT可以协助员工进行市场调研、数据分析等工作，提高工作效率。在娱乐领域，ChatGPT则可以为游戏和电影创作提供无限灵感。

那作为普通开发者的我们，如何拥有一个属于自己的「ChatGPT」呢？

技术选型

  • 服务器：个人笔记本，Apple M1 Pro，32 GB版本
  • 模型：shibing624/chinese-alpaca-plus-13b-pth（https://huggingface.co/shibing624/chinese-alpaca-plus-13b-pth）
  • Chat界面：LlamaChat（https://github.com/alexrozanski/LlamaChat）

安装步骤

shibing624/chinese-alpaca-plus-13b-pth模型

介绍

image.png

本模型是 decapoda-research/llama-13b-hf 底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b 和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重， 并转化为PyTorch版本权重（.pth文件），可以直接使用或者继续训练。

下载

正式下载前，需要先注册huggingface.co账号，且该步骤需要魔法上网。

  • 安装依赖
pip install -U huggingface_hub
  • 下载模型
huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False shibing624/chinese-alpaca-plus-13b-pth --local-dir shibing624/chinese-alpaca-plus-13b-pth
  • 镜像网站✨✨✨
镜像网站：https://hf-mirror.com/，具体内容见网页详情。

LlamaChat

介绍

image.png

LlamaChat是一款MacOS应用程序，可以让你用LLaMA、Alpaca 、 GPT4等模型进行聊天。

下载
  • 最新版本的LlamaChat，链接：https://github.com/alexrozanski/LlamaChat/releases
安装

image.png

配置

image.png
image.png

聊天

image.png

总结

与所有技术一样，ChatGPT也引发了一些担忧和争议。人们担心AI的发展会取代人类的工作，或者导致信息泛滥、假消息传播等问题。但这些担忧并不应阻碍我们对AI的探索和发展。正如ChatGPT所示，AI的真正价值在于它能够帮助我们解决问题、提升生活质量，而不是替代我们。

至此，大家本地已经有了一个属于自己的「ChatGPT」，希望它在未来能够带给我们更多的惊喜和可能性。