摘要：所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差的模型压缩技术。
本文分享自华为云社区《模型压缩-pytorch 中的模型剪枝方法实践》，作者：嵌入式视觉。
一，剪枝分类
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。
1.1，非结构化剪枝
非结构化剪枝（Unstructured Puning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数（scaling floats）。其重点在于，剪枝权重对象是随机的，没有特定结构，因此被称为非结构化剪枝。
1.2，结构化剪枝
与非结构化剪枝相反，结构化剪枝会剪枝整个参数结构。比如，丢弃整行或整列的权重，或者在卷积层中丢弃整个过滤器（Filter）。
1.3，本地与全局修剪
剪枝可以在每层（局部）或多层/所有层（全局）上进行。
二，PyTorch 的剪枝
目前 PyTorch 框架支持的权重剪枝方法有:
- Random: 简单地修剪随机参数。
- Magnitude: 修剪权重最小的参数（例如它们的 L2 范数）
以上两种方法实现简单、计算容易，且可以在没有任何数据的情况下应用。
2.1，pytorch 剪枝工作原理
剪枝功能在 torch.nn.utils.prune 类中实现，代码在文件 torch/nn/utils/prune.py 中，主要剪枝类如下图所示。
