前些天在一台linux服务器（8核，32G内存，无显卡）使用ollama运行阿里通义千问Qwen1.5和Qwen2.0低参数版本大模型，Qwen2-1.5B可以运行，但是推理速度有些慢。
一直还没有尝试在macbook上运行测试大模型，不知道单机部署是否会有压力？
恰好家里有一台平时用的较少的macbook，因此，简单做了一些测试，分享给大家，供参考和讨论。
电脑配置
所使用的Macbook Pro稍微有些老，配置如下：
- 机型，MacBook Pro（13 英寸，2019 年）；
- 芯片，四核Intel Core i5 2.4GHz；
- 图形卡：Intel Iris Plus Graphics 655 1536 MB =》1.5G显存，是否能有用？
- 内存，16G；
- 系统，macOS Sonoma 14.5
（原来系统Catalina 10.15，发现没有brew命令，安装提示系统版本太低，apple已不再支持；同时系统提示，可以升级到最新mac OS，于是安装升级到最新的系统Sonoma，点击这里查询macOS Sonoma 与哪些电脑兼容）
Ollama下载安装
我们简单实用Ollama方式运行大模型。
首先从Ollama官网下载安装包。
Download Ollama on macOS
直接点击maxOS下载即可，下载的文件是Ollama.zip压缩文件，解压后是应用程序（ollama.apk），直接双击运行安装就可以。
安装完后，在启动台，就可以看到这个Ollama的图标。
大模型下载和运行
接下来就可以从ollama模型库中，选择需要的模型，做实验测试了。
例如：我们选择阿里通义千问qwen2-1.5B参数的模型：qwen2:1.5b-instruct-q5_K_M
qwen2:1.5b-instruct-q5_K_M
命令行直接运行： ollama run qwen2:1.5b-instruct-q5_K_M
如果下载失败，再次尝试即可。
(modelscope) MacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/qwen2/manifests/1.5b-instruct-q5_K_M": dial tcp: lookup registry.ollama.ai: i/o timeout
(modelscope) deMacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████▏ 182 B
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████▏ 11 KB
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏ 59 B
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
removing any unused layers
success
▏ 120 MB/1.1 GB 930 KB/s 简单测试运行，发现执行速度比预期快（几秒内出结果），实验情况如下：
>>> 今天是周三，7月4号。7月11号是周几？
2023年7月11日是星期三。
>>> 从下面相应的文本中提取关键词。
... ###
... 文本1：{PicTech提供图片翻译API，开发者可以集成图片翻译到他们的跨境电商系统中。}
... 关键词1：PicTech, 图片翻译API, 开发者, 跨境电商系统
... ##
... 文本2：{Meta公司训练了非常擅长理解和生成文本的前沿语言模型，并且开源给全世界使用，这种开源精神加速了人类科技的发展，
... 非常值得尊敬。}
... 关键词2：Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬
... ##
... 文本3：{Neil长期从事互联网行业，对人工智能也非常感兴趣，致力于科技改变生活。}
... 关键词3
... ###
此题答案为：
1、PicTech, 图片翻译API, 开发者, 跨境电商系统
2、Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬
3、Neil, 互联网行业, 人工智能, 科技改变生活
>>> Send a message (/? for help)
结论： 从运行速度来看，运行相同模型（Qwen2-1.5B），在这台macbook（4核，16G内存）运行速度，比之前在linux单机（8核，32G内存）运行速度要快了不少！ 虽然linux机器，从cpu和内存上配置高于我这台macbook，或许两个系统在底层加速优化方面，macbook做的较好？！