aerospike-batch-processing:一个简单的示例,用于批量处理Aerospike命名空间中的所有记录

时间:2021-05-15 13:59:57
【文件属性】:
文件名称:aerospike-batch-processing:一个简单的示例,用于批量处理Aerospike命名空间中的所有记录
文件大小:19KB
文件格式:ZIP
更新时间:2021-05-15 13:59:57
Java Aerospike批处理 问题 您想要处理Aerospike数据库中的所有记录,也许是数十亿条记录。 您的应用程序中没有足够的堆空间来同时处理它们,因此您想一次“批量处理”它们,每次处理1,000个。 解决方案 使用Aerospike scanAll()方法扫描整个名称空间或名称空间并进行设置。 每条记录一次从一个缓冲队列中检索。 您可以将返回的记录收集到一个“批”中,然后处理该批记录。 该解决方案的源代码可在GitHub上找到,以及README.md 。 这是一个Java示例,但是相同的原理可以应用于Aerospike支持的任何编程语言。 如何建造 使用以下命令克隆GitHub存储库: git clone https://github.com/helipilot50/aerospike-batch-processing.git 该构建使用Maven来构建解决方案使用: mvn
【文件预览】:
aerospike-batch-processing-master
----.gitignore(30B)
----README.md(4KB)
----pom.xml(3KB)
----KV_Scan_small.png(10KB)
----src()
--------test()
--------main()

网友评论