RK3576部署llama2.c-PC端测试

时间:2024-10-04 11:42:32

在克隆完源码后,下载 TinyStories 数据集上训练的 15M 参数模型(大小约为 60MB):

wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin

然后编译并运行程序:

make run
./run stories15M.bin

运行结果如下:

在这里插入图片描述

可以看到,大概每秒能够生成64个token,速度非常快。