文件名称：filewatcher:把目录下的文件内容写入到rocketmqhdfs中(支持多线程,断点续传)
文件大小：31KB
文件格式：ZIP
更新时间：2024-07-18 20:17:15
Java
filewatcher ###背景 有一些服务部署在欧美机房,不太可能通过pipeline的方式实时同步到中国区统一处理. 一方面是因为到中国的网络不太稳定,另一方面这个延时也很大,单条记录去写性能不高. 所以目前我们的策略是在前端服务器写入日志(按分钟)后,每隔N分钟通过async的方式批量同步一次,然后在写入到rocketmq. 后端storm等应用再通过读取rocketmq中的数据来实现准实时的分析. 这个项目就是为了把async后的目录下的文件内容写入到rocketmq/hdfs中(支持多线程,断点续传). ###编译 mvn assembly:assembly ###运行命令 nohup java -Xmx1g -cp filewatcher-1.0-SNAPSHOT.jar me.zhenchuan.files.App --meta_path=/tmp/meta --work_
【文件预览】：
filewatcher-master
----pom.xml(10KB)
----src()
--------main()
----.gitignore(588B)
----README.md(3KB)