[ICLR 2020]对比表示蒸馏（CRD），以及最新知识蒸馏方法的基准-Python开发

【文件属性】：
文件名称：[ICLR 2020]对比表示蒸馏（CRD），以及最新知识蒸馏方法的基准-Python开发
文件大小：48KB
文件格式：ZIP
更新时间：2021-05-25 16:04:40
Python Deep Learning 对比表示蒸馏（CRD），以及最新知识蒸馏方法的基准RepDistiller此回购协议：（1）涵盖以下ICLR 2020论文的实施：“对比表示蒸馏”（CRD）。 纸，项目页。 （2）在PyTorch中对12种最先进的知识提炼方法进行了基准测试，包括：（KD）-在神经网络中提炼知识（FitNet）-Fitnets：细深网的提示（AT）-更加关注注意：通过注意转移（SP）改善卷积神经网络的性能-相似性保留

【文件预览】：
RepDistiller-master
----train_teacher.py(6KB)
----distiller_zoo()
--------PKT.py(2KB)
--------SP.py(908B)
--------KDSVD.py(2KB)
--------KD.py(493B)
--------NST.py(1KB)
--------__init__.py(332B)
--------AT.py(930B)
--------VID.py(2KB)
--------FT.py(981B)
--------FSP.py(2KB)
--------AB.py(1KB)
--------FitNet.py(332B)
--------CC.py(1KB)
--------RKD.py(2KB)
----models()
--------util.py(9KB)
--------mobilenetv2.py(6KB)
--------vgg.py(7KB)
--------classifier.py(819B)
--------__init__.py(962B)
--------wrn.py(5KB)
--------resnetv2.py(7KB)
--------ShuffleNetv1.py(5KB)
--------resnet.py(8KB)
--------ShuffleNetv2.py(7KB)
----scripts()
--------run_cifar_distill.sh(2KB)
--------fetch_pretrained_teachers.sh(953B)
--------run_cifar_vanilla.sh(305B)
----helper()
--------util.py(2KB)
--------loops.py(9KB)
--------pretrain.py(3KB)
--------__init__.py(0B)
----train_student.py(14KB)
----crd()
--------criterion.py(3KB)
--------__init__.py(0B)
--------memory.py(5KB)
----dataset()
--------cifar100.py(8KB)
--------imagenet.py(8KB)
----LICENSE(1KB)
----README.md(7KB)
----.gitignore(1KB)