【文件属性】:
文件名称:Cal-FLOPs-for-PLM:在NLP中计算预训练模型的FLOP
文件大小:2KB
文件格式:ZIP
更新时间:2021-03-29 19:40:25
natural-language-processing parameters transformers pytorch flops
Cal-FLOPs for PLM
在NLP中计算预训练模型的FLOP
该存储库提供了有关为Pytorch Framework中的NLP模型(主要是PLM)计算FLOP和参数的示例脚本。
该示例脚本展示了两种类型的开源FLOPs计数器工具的用法。
FLOPs计数器和Parameters计数器基于和的开源工具
安装
从PyPI:
pip install thop
pip install ptflops
要求:
火炬> = 1.0.0
变压器> = 2.2.0
例子
参见example.py
【文件预览】:
Cal-FLOPs-for-PLM-main
----example.py(4KB)
----README.md(680B)