文件名称:product-quantization::upside-down_face:矢量量化算法的实现,Norm-Explicit Quantization的代码
文件大小:20.08MB
文件格式:ZIP
更新时间:2024-06-18 13:47:11
clustering lsh approximate-nearest-neighbor-search product-quantization vector-quantization
乘积量化 使用python进行矢量量化的通用框架。 , AAAI 2020, 口头 规范显式量化:改进最大内积搜索的矢量量化。 抽象的 矢量量化 (VQ) 技术广泛用于数据压缩的相似性搜索、快速度量计算等。最初是为欧几里德距离设计的,现有的 VQ 技术(例如 PQ、AQ)显式或隐式地最小化量化误差。 在本文中,我们提出了一个新的角度来分析量化误差,将量化误差分解为范数误差和方向误差。 我们表明范数中的量化误差对内积的影响比方向上的量化误差大得多,并且小的量化误差并不一定会导致最大内积搜索(MIPS)的良好性能。 基于这一观察,我们提出了范数显式量化(NEQ)——一种改进现有 MIPS VQ 技术的通用范式。 NEQ 明确量化数据集中项目的范数以减少范数错误,这对 MIPS 至关重要。 对于方向向量,NEQ 可以简单地重用现有的 VQ 技术来量化它们而无需修改。 我们对各种数据集和参数配
【文件预览】:
product-quantization-master
----pq_residual.py(4KB)
----run_apq.py(836B)
----vecs_io.py(3KB)
----hash.py(983B)
----run_norm_rq.py(935B)
----run_opq.py(796B)
----run_norm_aq.py(1KB)
----pqx.py(1KB)
----run_rq.py(873B)
----data()
--------netflix()
----pq.py(3KB)
----pq_norm.py(4KB)
----run_pq.py(3KB)
----opq.py(3KB)
----sorter.py(4KB)
----.gitignore(4KB)
----rq_graph.py(7KB)
----run_hash.py(408B)
----run_norm_opq.py(884B)
----run_aq.py(797B)
----aq.py(9KB)
----run_ground_truth.py(2KB)
----README.md(3KB)
----run_norm_pq.py(860B)
----transformer.py(3KB)