文件名称：Pytorch实现的各种知识蒸馏方法-python
文件大小：48KB
文件格式：ZIP
更新时间：2024-07-08 14:44:22
机器学习
Pytorch实现的各种知识蒸馏方法 Knowledge-Distillation-Zoo Pytorch 实现各种知识蒸馏 (KD) 方法。 本知识库是一个简单的参考资料，主要侧重于基础知识蒸馏/转移方法。 因此没有考虑许多技巧和变化，例如逐步训练、迭代训练、教师集成、KD 方法集成、无数据、自蒸馏、量化等。 希望它对您的项目或研究有用。 我将使用新的 KD 方法定期更新此 repo。 如果我遗漏了一些基本方法，请与我联系。 Lists Name Method Paper Link Code Link Baseline basic model with softmax loss — code Logits通过回归logits模拟学习论文代码ST软目标论文代码AT注意力转移论文代码Fitnet提示薄深度网络论文代码NST神经选择性转移论文代码PKT概率知识转移论文代码 FSP 求解流程过程论文代码 FT 因子转移论文代码 RKD 关系知识蒸馏论文代码 AB 激活边界论文代码 SP 相似性保存论文代码 Sobolev sobolev/jacobian 匹配论文代码 BSS 边
【文件预览】：
Knowledge-Distillation-Zoo-master
----train_bss.py(11KB)
----train_dml.py(11KB)
----kd_losses()
--------st.py(563B)
--------bss.py(2KB)
--------lwm.py(2KB)
--------vid.py(2KB)
--------irg.py(3KB)
--------ft.py(676B)
--------__init__.py(498B)
--------fsp.py(892B)
--------dml.py(548B)
--------at.py(821B)
--------ab.py(679B)
--------pkt.py(2KB)
--------fitnet.py(414B)
--------sobolev.py(1KB)
--------logits.py(463B)
--------crd.py(4KB)
--------afd.py(3KB)
--------nst.py(2KB)
--------cc.py(1KB)
--------ofd.py(1KB)
--------rkd.py(2KB)
--------sp.py(658B)
----utils.py(2KB)
----dataset.py(4KB)
----train_base.py(8KB)
----train_crd.py(10KB)
----.gitignore(2KB)
----README.md(20KB)
----train_ft.py(12KB)
----train_kd.py(21KB)
----example_train_script.sh(14KB)
----network.py(8KB)