pig-hyperloglog:一个用于计算和使用 HyperLogLog 算法的猪 udf

时间:2024-08-01 07:27:32
【文件属性】:

文件名称:pig-hyperloglog:一个用于计算和使用 HyperLogLog 算法的猪 udf

文件大小:14KB

文件格式:ZIP

更新时间:2024-08-01 07:27:32

Java

猪超级日志 几个用户定义函数 (UDF) 来计算和使用 HyperLogLog 算法。 存在其他实现(例如, )。 该项目的实施是为了补充并使用完全相同的实现。 因此,它使您能够在猪脚本中计算 HLL 字符串,将结果导入 MySQL,然后对数据调用 MySQL HLL 函数来分析数据并获得基数估计。 用法 存在四个独立的 UDF - HLL_CREATE、HLL_COMPUTE、HLL_MERGE、HLL_MERGE_COMPUTE。 这些功能中功能完全相同,因此请查看其文档。 您还可以查看的示例。 注意:从Apache pig 使用时,需要注册项目jar 文件,还要确保libpighll.so 文件(或windows 上的DLL)可以在java 库路径中找到。 如果我不使用 Apache Pig 会怎样 是一个 Java 类,它包装了底层的 C++ 实现。 它可以从 Hadoop


【文件预览】:
pig-hyperloglog-master
----jni()
--------pighll.cxx(2KB)
--------pighll.hpp(2KB)
--------CMakeLists.txt(397B)
--------mysql-hyperloglog()
----.gitignore(121B)
----src()
--------main()
--------test()
----.gitmodules(124B)
----generate-jni-header.sh(98B)
----pom.xml(2KB)
----README.md(2KB)

网友评论