文件名称：Teacher-free-Knowledge-Distillation:知识提炼
文件大小：919KB
文件格式：ZIP
更新时间：2024-06-01 15:51:59
pytorch knowledge-distillation paper-implementations label-smoothing teacher-free
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新arxiv版本。 我们的工作表明：当神经网络过于强大而无法找到更强大的教师模型，或者计算资源仅限于训练教师模型时，可以应用“自我训练”或“手动设计的正则化”。 例如，ResNeXt101-32x8d是一个功能强大的模型，在ImageNet上具有88.79M参数和16.51G FLOP，为该学生训练更强大的教师模型非常困难或计算昂贵。 我们的策略可以将这种强大的学生模型进一步提高0.48％，而无需在ImageNet上进行额外的计算。 同样，当将具有34.53M参数的功能强大的单一模型ResNeXt29-8x64d作为学生模型时，我们的自训练实现在CIFAR100上实现
【文件预览】：
Teacher-free-Knowledge-Distillation-master
----figures()
--------cifar100_mv2_selfKD.jpg(59KB)
--------De-KD.png(41KB)
--------figure_ill.png(520KB)
--------Reg-Normal-LSR.png(34KB)
--------Tf-self.png(30KB)
--------Re-KD.png(49KB)
--------figure1.png(151KB)
--------cifar100_r18_selfKD.jpg(47KB)
----experiments()
--------kd_experiments()
--------base_experiments()
--------pretrained_teacher_models()
----model()
--------mobilenetv2.py(3KB)
--------shufflenetv2.py(5KB)
--------googlenet.py(4KB)
--------utils.py(150B)
--------resnext.py(6KB)
--------wrn.py(5KB)
--------net.py(4KB)
--------resnet.pyc(7KB)
--------densenet.py(5KB)
--------resnet.py(6KB)
--------shufflenetv2.pyc(5KB)
--------alexnet.py(1KB)
----utils.py(8KB)
----main.py(13KB)
----requirements.txt(523B)
----LICENSE(1KB)
----README.md(8KB)
----my_loss_function.py(2KB)
----data()
--------data-cifar10()
--------tiny-imagenet-200()
--------data-cifar100()
----ImageNet_train()
--------main.py(21KB)
--------readme.md(1KB)
----evaluate.py(4KB)
----data_loader.py(7KB)
----train_kd.py(10KB)