文件名称：hdfs-gress:通用加载程序
文件大小：40KB
文件格式：ZIP
更新时间：2024-07-27 12:50:43
Java
拷贝本地文件到HDFS 动机 很多项目需要把本地文件拷贝到hdfs集群，本程序能自动扫描本地文件并上传到hdfs集群。 特性 拷贝成功后，可以选择保留或删除文件 拷贝文件过程可以支持压缩例如：org.apache.hadoop.io.compress.CompressionCodec 拷贝文件可以支持解压，目前只能解压gz文件 通过CRC32与文件大小校验，保障传输的准确性。（对于压缩和解压文件，只提供CRC32校验) 忽略隐藏文件".*" 传输完成后执行定制化脚本，可满足不同项目需要 传输前执行定制化脚本。可以灵活满足项目 可处理csv文件，自动忽略首行 多线程传输 传输后，把文件合并到大文件中 可设置后台守护运行 重要条件 在使用本工具时请注意下面事项 文件在移动到原目录时，最好先生成到同一文件系统的其他目录，然后再mv到源目录。或先生成隐藏文件（以 “.”打头的文件） 保证文件名称唯
【文件预览】：
hdfs-gress-master
----TESTING.md(1KB)
----hdfs-gress.iml(8KB)
----src()
--------main()
--------test()
----LICENSE(11KB)
----pom.xml(9KB)
----README.md(7KB)
----BUILDING.md(2KB)
----TODO.md(780B)