在克隆完源码后,下载 TinyStories 数据集上训练的 15M 参数模型(大小约为 60MB):
wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin
然后编译并运行程序:
make run
./run stories15M.bin
运行结果如下:
可以看到,大概每秒能够生成64个token,速度非常快。
在克隆完源码后,下载 TinyStories 数据集上训练的 15M 参数模型(大小约为 60MB):
wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin
然后编译并运行程序:
make run
./run stories15M.bin
运行结果如下:
可以看到,大概每秒能够生成64个token,速度非常快。