文件名称：nn_pruning:在微调或训练时修剪模型
文件大小：6.41MB
文件格式：ZIP
更新时间：2024-04-08 19:21:40
Python
神经网络块运动修剪 该站点的交互式版本可。 被证明是一种非结构化的修剪网络的非常有效的方法。可以达到很高的稀疏度，而精度损失最小。由此产生的稀疏网络可以进行大量压缩，从而节省服务器或设备上的大量永久存储空间以及带宽，这是边缘设备的重要优势。但是，具有非结构化稀疏性的有效推断是困难的。为了使用当今硬件的内在并行特性，必须具有某种程度的结构。块运动修剪工作扩展了原始方法，并探讨了运动修剪的半结构化和结构化变体。您可以在这些了解有关块稀疏性及其对性能的重要性的更多信息。 如何使用 文档在。 结果 小队V1 实验首先在SQuAD v1上完成。 测试了两个网络：基于BERT的网络和基于BERT的大型网络。 获得了非常显着的加速，但精度下降有限。 这是通过不同的变体方法变体获得的网络的选择。 表格中添加了原始的“大”和“基本”微调模型，以进行比较。 “ BERT版本”列显示修剪了哪个基本网络。参数计