Mac本地部署大模型-单机运行

时间:2024-07-08 20:45:30

前些天在一台linux服务器(8核,32G内存,无显卡)使用ollama运行阿里通义千问Qwen1.5和Qwen2.0低参数版本大模型,Qwen2-1.5B可以运行,但是推理速度有些慢。

一直还没有尝试在macbook上运行测试大模型,不知道单机部署是否会有压力?

恰好家里有一台平时用的较少的macbook,因此,简单做了一些测试,分享给大家,供参考和讨论。

电脑配置

所使用的Macbook Pro稍微有些老,配置如下:

  • 机型,MacBook Pro(13 英寸,2019 年)
  • 芯片,四核Intel Core i5 2.4GHz;
  • 图形卡:Intel Iris Plus Graphics 655 1536 MB =》1.5G显存,是否能有用?
  • 内存,16G;
  • 系统,macOS Sonoma 14.5

(原来系统Catalina 10.15,发现没有brew命令,安装提示系统版本太低,apple已不再支持;同时系统提示,可以升级到最新mac OS,于是安装升级到最新的系统Sonoma,点击这里查询macOS Sonoma 与哪些电脑兼容

Ollama下载安装

我们简单实用Ollama方式运行大模型。

首先从Ollama官网下载安装包。

Download Ollama on macOS

直接点击maxOS下载即可,下载的文件是Ollama.zip压缩文件,解压后是应用程序(ollama.apk),直接双击运行安装就可以。

安装完后,在启动台,就可以看到这个Ollama的图标。

大模型下载和运行

接下来就可以从ollama模型库中,选择需要的模型,做实验测试了。

例如:我们选择阿里通义千问qwen2-1.5B参数的模型:qwen2:1.5b-instruct-q5_K_M

qwen2:1.5b-instruct-q5_K_M

命令行直接运行: ollama run qwen2:1.5b-instruct-q5_K_M

如果下载失败,再次尝试即可。

(modelscope) MacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/qwen2/manifests/1.5b-instruct-q5_K_M": dial tcp: lookup registry.ollama.ai: i/o timeout

(modelscope) deMacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏   59 B                         
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
                               ▏ 120 MB/1.1 GB  930 KB/s  

简单测试运行,发现执行速度比预期快(几秒内出结果),实验情况如下:

>>> 今天是周三,7月4号。7月11号是周几?
2023年7月11日是星期三。

>>> 从下面相应的文本中提取关键词。
... ###
... 文本1:{PicTech提供图片翻译API,开发者可以集成图片翻译到他们的跨境电商系统中。}
... 关键词1:PicTech, 图片翻译API, 开发者, 跨境电商系统
... ##
... 文本2:{Meta公司训练了非常擅长理解和生成文本的前沿语言模型,并且开源给全世界使用,这种开源精神加速了人类科技的发展,
... 非常值得尊敬。}
... 关键词2:Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬
... ##
... 文本3:{Neil长期从事互联网行业,对人工智能也非常感兴趣,致力于科技改变生活。}
... 关键词3
... ###


此题答案为:

1、PicTech, 图片翻译API, 开发者, 跨境电商系统

2、Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬

3、Neil, 互联网行业, 人工智能, 科技改变生活

>>> Send a message (/? for help)

结论: 从运行速度来看,运行相同模型(Qwen2-1.5B),在这台macbook(4核,16G内存)运行速度,比之前在linux单机(8核,32G内存)运行速度要快了不少! 虽然linux机器,从cpu和内存上配置高于我这台macbook,或许两个系统在底层加速优化方面,macbook做的较好?!