hadoop-lzo:Hadoop 0.20的code.google.comhadoop-gpl-compression重构版本

时间:2024-05-27 09:14:37
【文件属性】:

文件名称:hadoop-lzo:Hadoop 0.20的code.google.comhadoop-gpl-compression重构版本

文件大小:1016KB

文件格式:ZIP

更新时间:2024-05-27 09:14:37

Shell

HadoopLZO Hadoop-LZO是一个将可拆分LZO压缩引入Hadoop项目。 由于LZO具有速度和压缩大小的优点,因此它是Hadoop理想压缩格式。 但是,LZO文件本身不是可拆分的,这意味着作为Hadoop核心的并行性已不复存在。 该项目重新启用了与LZO压缩文件的并行性,并且还带有用于处理LZO文件的标准实用程序(输入/输出流等)。 起源 该项目建立在所做的出色工作的基础上。 从第41期开始,此代码库中的区别如下。 它修复了hadoop-gpl-compression中的一些错误-尤其是,它允许解压缩器读取小的或不可压缩的lzo文件,并且还修复了压缩器在压缩小的或不可压缩的块时遵循lzo标准。 它还修复了许多在lzo编写器在中途被杀死时可能发生的不一致捕获和抛出的异常情况,以及一些其他较小的问题(请参阅提交日志)。 它通过com.apache.hadoop.mapred


【文件预览】:
hadoop-lzo-master
----.travis.yml(333B)
----pom.xml(19KB)
----.archive-version(41B)
----src()
--------test()
--------main()
----.gitignore(869B)
----README.md(10KB)
----scripts()
--------get_build_revision.sh(598B)
----COPYING(34KB)
----.gitattributes(198B)

网友评论