accumulo-column-summing:迭代器对跨行的列求和

时间:2024-07-10 08:11:22
【文件属性】:

文件名称:accumulo-column-summing:迭代器对跨行的列求和

文件大小:12KB

文件格式:ZIP

更新时间:2024-07-10 08:11:22

Java

累加列求和 Accumulo 迭代器将在一组列族上执行服务器端求和。 这是对 SummingCombiner 的改进,以代码复杂性为代价,因为它减少了发送回客户端的数据量,还减少了最终客户端求和的大小。 虽然这在单机设置中通常不会产生很大影响,但当真正的网络延迟被添加到底层 RPC 调用时,这种数据减少可能是总执行时间的重要部分。 对超过 100 万行的单列求和将导致 SummingCombiner 将 100 万个部分和返回给客户端。 使用包含的 SortedKeyValueIterator 将导致发送到客户端的给定表结果的大约分割点数。 实际上,迭代器返回的结果数将取决于在 Accumulo 表上设置的 table.scan.max.memory 参数,但返回的结果数应始终比 SummingCombiner 少几个数量级的结果。


【文件预览】:
accumulo-column-summing-master
----.gitignore(37B)
----src()
--------main()
--------test()
----pom.xml(1KB)
----README.md(1KB)
----requirements.md(711B)

网友评论