文件名称：CKA_AttrEmbed:将特征图的相似度与属性嵌入的相似度对齐
文件大小：332KB
文件格式：ZIP
更新时间：2024-04-26 16:35:29
Python
属性嵌入的居中对齐 简而言之，我想将在目标类别上定义的图像特征（来自CNN）的相似度内核（Kornblith等，2019）与相同类别（使用的ViCo（Gupta等人） ，2019），但语言模型还有许多其他选择：BERT，word2vec，GloVe）。 有两个方面值得注意： 仅使用名称或描述将每个类别映射到单词嵌入空间可能并不总是很有帮助。 我专门寻找由视觉描述词组成的属性集（例如，在视觉基因组数据集中收集的属性）。 有了这个集合，我们可以通过将每个类别的标签投影到嵌入空间中的此属性集上来表示每个类别，从而有效地形成一个类别的表示，该类别在视觉感知方面更加精细。 从这两个空间对齐相似性内核可以使我们免于学习从视觉表示到单词嵌入的新映射，也无需学习新的共享嵌入空间。 在CIFAR-100上的分数 CE代表“交叉熵”，它是基线损失/目标。 现在，我直接使用ViCo中的嵌入，而无需投影到视
【文件预览】：
CKA_AttrEmbed-master
----.gitignore(2KB)
----images()
--------score_table.png(17KB)
--------algo.png(63KB)
----experimenter.py(573B)
----run.py(4KB)
----train_simloss.sh(159B)
----eval.py(4KB)
----train.sh(142B)
----exp()
--------cifar100()
----models()
--------attribute_embeddings.py(4KB)
--------conse.py(2KB)
--------__init__.py(0B)
--------resnet.py(12KB)
----runner_cuda101.slurm(794B)
----utils()
--------html_writer.py(2KB)
--------argparse_utils.py(2KB)
--------__init__.py(0B)
--------io.py(4KB)
--------constants.py(783B)
--------pytorch_layers.py(5KB)
--------lemmatizer.py(936B)
--------model.py(1KB)
----README.md(2KB)
----vis()
--------__init__.py(0B)
--------vis_conf_mat.py(1KB)
--------conf_vs_visual_sim.py(2KB)
--------class_vs_sim.py(2KB)
--------acc_vs_num_classes.py(4KB)
--------acc_with_std_vs_num_classes.py(5KB)
--------conf_as_fun_of_sims.py(4KB)
----runner_simloss_cuda101.slurm(806B)
----dataset.py(3KB)
----download.sh(337B)
----train.py(9KB)