文件名称：Parquet-Hbase-bulkload-Put-Buffered-example:通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录
文件大小：9KB
文件格式：ZIP
更新时间：2024-07-18 20:03:49
Java
通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录 通过 WAL（使用 Put）将具有 PARQUET 格式的 hdfs 文件加载到 Hbase 的包。 该包基于仅使用 Mapper 加载表。 很快我将添加如何使用 reducer 以及使用 MR 驱动程序自动刷新所有放置的另一个版本，而无需使用 TAblemapper 类进行缓冲控制。 另一个例子： : 在添加的这个示例中，性能明显提高，将更多的缓冲项从 1 增加到 1000，基于 14 个节点的集群将时间从 25 分钟减少到 50 秒。 但是，将缓冲增加到 10K，响应不如超时开始播放。 这个过程很简单。 首先配置作业添加 Hbase 所需的所有资源。 请注意，有时需要 addDependencyJars，以便映射器运行的节点获取处理 Hbase 所需的 jar。 在映射器中，连接是在 SetUP
【文件预览】：
Parquet-Hbase-bulkload-Put-Buffered-example-master
----pom.xml(3KB)
----src()
--------main()
----.gitignore(574B)
----README.md(2KB)
----.gitattributes(378B)