文件名称：Knowledge-Distillation:博客https
文件大小：3.92MB
文件格式：ZIP
更新时间：2024-05-28 07:28:44
knowledge-distillation JupyterNotebook
用Keras进行知识蒸馏 Keras实施Hinton的知识蒸馏（KD），这是一种将知识从大模型转移到小模型的方法。 概括 我使用Caltech-256数据集对该技术进行了演示。 我将知识从Xception转移到MobileNet-0.25和SqueezeNet v1.1。 结果： 模型 准确性， ％ 前5个准确度，％ 对数损失 Xception 82.3 94.7 0.705 MobileNet-0.25 64.6 85.9 1.455 带KD的MobileNet-0.25 66.2 86.7 1.464 SqueezeNet v1.1 67.2 86.5 1.555 带KD的SqueezeNet v1.1 68.9 87.4 1.297 实施细节 我在ImageNet模型上使用了预训练。 为了进行验证，我使用了每个类别的20张图像。 为
【文件预览】：
Knowledge-Distillation-master
----vanilla_squeezenet.ipynb(54KB)
----utils()
--------split_but_no_resizing.ipynb(6KB)
--------split_and_resize_data.ipynb(9KB)
--------image_preprocessing_ver2.py(43KB)
--------image_preprocessing_ver1.py(43KB)
----xception.py(6KB)
----vanilla_mobilenet.ipynb(55KB)
----train_val_split()
--------train_metadata.csv(1.09MB)
--------decode.npy(17KB)
--------train_val_split.ipynb(7KB)
--------val_metadata.csv(338KB)
----Knowledge Distillation.docx(890KB)
----mobilenet.py(783B)
----get_logits_from_xception.ipynb(5KB)
----train_xception.ipynb(59KB)
----README.md(2KB)
----squeezenet.py(3KB)
----squeezenet_weights.hdf5(2.89MB)
----knowledge_distillation_for_squeezenet.ipynb(115KB)
----knowledge_distillation_for_mobilenet.ipynb(65KB)