文件名称：共享预测跨模态深度量化
文件大小：3.01MB
文件格式：PDF
更新时间：2024-06-01 10:44:16
Compact code; deep learning; multimodal;
随着数据量的爆炸性增长和数据模态的不断增加，跨模态相似性搜索在不同模态之间进行最近邻搜索，引起了越来越多的兴趣。 本文提出了一种用于高效跨模式相似性搜索的深层紧凑代码学习解决方案。 许多最新研究证明，在单模式相似性搜索中，基于量化的方法通常比基于哈希的方法表现更好。 在本文中，我们提出了一种深度量化方法，这是利用深度神经网络进行基于量化的跨模态相似性搜索的早期尝试之一。 我们的方法被称为共享预测深度量化（SPDQ），它明确地制定了跨不同模态的共享子空间和针对各个模态的两个私有子空间，并通过将它们嵌入到再现内核Hilbert空间中同时学习了共享子空间和私有子空间中的表示形式。 ，其中可以明确比较不同模态分布的均值嵌入。 另外，在共享子空间中，学习了量化器以借助标签对齐产生保留紧凑代码的语义。 由于这种新颖的网络体系结构与监督量化训练相结合，SPDQ可以尽可能保留模态内和模态间的相似性，并大大减少了量化误差。 在两个流行基准测试上的实验证实了我们的方法优于最新方法。