Cal-FLOPs-for-PLM:在NLP中计算预训练模型的FLOP

时间:2021-03-29 19:40:25
【文件属性】:
文件名称:Cal-FLOPs-for-PLM:在NLP中计算预训练模型的FLOP
文件大小:2KB
文件格式:ZIP
更新时间:2021-03-29 19:40:25
natural-language-processing parameters transformers pytorch flops Cal-FLOPs for PLM 在NLP中计算预训练模型的FLOP 该存储库提供了有关为Pytorch Framework中的NLP模型(主要是PLM)计算FLOP和参数的示例脚本。 该示例脚本展示了两种类型的开源FLOPs计数器工具的用法。 FLOPs计数器和Parameters计数器基于和的开源工具 安装 从PyPI: pip install thop pip install ptflops 要求: 火炬> = 1.0.0 变压器> = 2.2.0 例子 参见example.py
【文件预览】:
Cal-FLOPs-for-PLM-main
----example.py(4KB)
----README.md(680B)

网友评论