文件名称:OTK:最优传输内核嵌入的Pytorch实现
文件大小:57KB
文件格式:ZIP
更新时间:2024-06-11 13:21:23
Python
最优传输核嵌入 该存储库实现了以下论文中描述的最佳传输内核嵌入(OTKE) GrégoireMialon *,Dexiong Chen *,Alexandre d'Aspremont,Julien Mairal。 。 ICLR 2021。 *平等贡献 TLDR; 当面对由大量特征(如生物序列,自然语言句子甚至图像)组成的数据时,本文证明了我们的OTK嵌入优于常规聚合方法(例如,平均池,最大池或注意力)的优势。 无论有无标签,都可以学习我们的嵌入,这在有注释的数据很少的情况下特别有用,并且可以单独用作内核方法或较大模型中的一层。 关于模块的简短描述 主体模块在otk/layers.py作为OTKernel 。 它通常与非线性层一起使用。 与非线性层结合,它将序列或图像张量作为输入,并基于最佳传输执行非线性嵌入和自适应池化(注意+池化)。 具体来说,给定序列x作为输入,它首先计算从x到某个参
【文件预览】:
OTK-master
----ckn()
--------models.py(26KB)
--------utils.py(4KB)
--------kernels.py(350B)
--------data()
--------__init__.py(0B)
--------ops.py(1KB)
--------layers.py(18KB)
----figs()
--------otk1.png(4KB)
--------otk2.png(5KB)
----data()
--------get_deepsea.sh(146B)
--------get_scop.sh(87B)
--------get_sst2.sh(83B)
----otk()
--------models.py(6KB)
--------utils.py(2KB)
--------sinkhorn.py(6KB)
--------models_deepsea.py(3KB)
--------__init__.py(0B)
--------data_utils.py(2KB)
--------layers.py(7KB)
----experiments()
--------nlp_unsup.py(10KB)
--------eval_deepsea.py(7KB)
--------scop175_unsup.py(11KB)
--------loaders.py(5KB)
--------scop175_sup.py(13KB)
--------train_deepsea.py(10KB)
--------read_results.py(786B)
--------nlp_sup.py(12KB)
----.gitignore(1KB)
----README.md(6KB)