文件名称:morphline-mr:MapReduce 与 Kite Morphline
文件大小:150KB
文件格式:ZIP
更新时间:2024-06-26 20:36:42
Java
MapReduce 与 Morphlines 介绍 Morphlne-MR 是一些 ETL 的简单 hadoop mapreduce 作业。 它从 Hdfs 读取输入数据并进行 morphline 处理,然后将文件写入 Hdfs。 morphline.conf 包含所有的魔法。 从_attachment_body字段读取数据 摸索绳子。 此时,输入数据被拆分为字段。 grok 命令后,每个字段都是可变的。 在过程结束时,设置value字段。 RecordEmitter 是为你写数据。 入门 $ git clone https://github.com/minyk/morphline-mr.git $ mvn package $ yarn jar target/morphline-mr-*-jar-with-dependencies.jar -f morphline_with_e
【文件预览】:
morphline-mr-master
----.gitignore(281B)
----src()
--------main()
--------test()
----LICENSE.txt(559B)
----pom.xml(9KB)
----readme.md(3KB)