morphline-mr:MapReduce 与 Kite Morphline

时间:2024-06-26 20:36:42
【文件属性】:

文件名称:morphline-mr:MapReduce 与 Kite Morphline

文件大小:150KB

文件格式:ZIP

更新时间:2024-06-26 20:36:42

Java

MapReduce 与 Morphlines 介绍 Morphlne-MR 是一些 ETL 的简单 hadoop mapreduce 作业。 它从 Hdfs 读取输入数据并进行 morphline 处理,然后将文件写入 Hdfs。 morphline.conf 包含所有的魔法。 从_attachment_body字段读取数据 摸索绳子。 此时,输入数据被拆分为字段。 grok 命令后,每个字段都是可变的。 在过程结束时,设置value字段。 RecordEmitter 是为你写数据。 入门 $ git clone https://github.com/minyk/morphline-mr.git $ mvn package $ yarn jar target/morphline-mr-*-jar-with-dependencies.jar -f morphline_with_e


【文件预览】:
morphline-mr-master
----.gitignore(281B)
----src()
--------main()
--------test()
----LICENSE.txt(559B)
----pom.xml(9KB)
----readme.md(3KB)

网友评论