spark-annoy:在Apache Spark上构建Annoy索引

时间:2021-02-05 23:36:16
【文件属性】:
文件名称:spark-annoy:在Apache Spark上构建Annoy索引
文件大小:819KB
文件格式:ZIP
更新时间:2021-02-05 23:36:16
scala spark approximate-nearest-neighbor-search knn ScalaScala Spark-Annoy(WIP) 在Apache Spark上构建 Index。 然后使用Annoy查询邻居。 注意 我在5分钟内使用100个节点构建了117M个64维向量的索引。 设置为; // version: 0.1.4 // spark.executor.instances = 100 // spark.executor.memory = 8g // spark.driver.memory = 8g val fraction = 0.00086 // for about 100k samples val numTrees = 2 val numPartitions = 100 va
【文件预览】:
spark-annoy-master
----.gitignore(76B)
----README.md(3KB)
----.github()
--------workflows()
----build.sbt(2KB)
----dev()
--------accuracy_test.py(3KB)
--------hdf5_to_parquet.py(1KB)
----LICENSE(11KB)
----src()
--------test()
--------main()
----.travis.yml(35B)
----data()
--------.gitignore(24B)
--------download.sh(117B)
--------annoy()
--------dump.py(468B)
--------fasttext()
--------mllib()
----version.sbt(41B)
----project()
--------plugins.sbt(136B)
--------build.properties(21B)

网友评论