facebook Faiss的基本使用示例

时间:2024-04-13 12:08:00

转载自: https://blog.****.net/sparkexpert/article/details/68922307

对faiss进行基本的案例学习,具体步骤如下:

step1:构造实验数据

facebook Faiss的基本使用示例

step2:为向量集构建IndexFlatL2索引,它是最简单的索引类型,只执行强力L2距离搜索

facebook Faiss的基本使用示例

step3:进行简单的k-近邻搜索

facebook Faiss的基本使用示例

结果如下:

NOTE:

1.程序输出为查询向量的最近邻的4个向量的索引

2.在机器上执行上述搜索需要约3.3秒。

facebook Faiss的基本使用示例

step4:加快搜索速度

方法:

通过使用IndexIVFFlat索引,将数据集分割成多个,我们在d维空间中定义Voronoi单元,每个数据库向量落在其中一个单元格中。在搜索时,只有查询x所在的单元格中包含的数据库向量y和几个相邻的数据库向量y与查询向量进行比较。

搜索方法有两个参数:nlist(单元格数),nprobe(执行搜索访问的单元格数(nlist以外))

facebook Faiss的基本使用示例

对于nprobe = 1,结果如下:

 

facebook Faiss的基本使用示例

结果和上面的强力搜索类似,但是不同(见上文)。这是因为一些结果不在完全相同的Voronoi细胞。因此,访问更多的单元格可能是有用的。

设置nprobe = 10,结果如下:

facebook Faiss的基本使用示例

这是正确的结果。

但注意:在这种情况下获得完美的结果只是数据分布的一个假象,因为它在x轴上有一个强大的组件,这使得它更容易处理。nprobe参数始终是调整速度和结果精度之间权衡的一种方式。设置nprobe = nlist给出与强力搜索相同的结果(但较慢)。

  step5:进一步缩小存储空间

我们看到的索引IndexFlatL2和IndexIVFFlat都存储完整的向量。 为了扩展到非常大的数据集,Faiss提供了基于产品量化器的有损压缩来压缩存储的向量的变体。压缩的方法基于乘积量化。

facebook Faiss的基本使用示例
结果如下:

facebook Faiss的基本使用示例

我们可以观察到最近的邻居被正确地找到(它是矢量ID本身),但是向量自身的估计距离不是0,尽管它远远低于与其他邻居的距离。这是由于有损压缩。

另外搜索真实查询时,虽然结果大多是错误的,但是它们在正确的空间区域,而对于真实数据,情况更好,因为:

1.统一数据很难进行索引,因为没有规律性可以被利用来聚集或降低维度

2. 对于自然数据,语义最近邻居往往比不相关的结果更接近。