hdfs_to_cos_tools:用于将HDFS上的数据拷贝到COS上

时间:2024-06-15 13:29:11
【文件属性】:

文件名称:hdfs_to_cos_tools:用于将HDFS上的数据拷贝到COS上

文件大小:40.9MB

文件格式:ZIP

更新时间:2024-06-15 13:29:11

hdfs cos Java

HDFS_TO_COS 功能说明 HDFS_TO_COS 工具用于将 HDFS 上的数据拷贝到腾讯云对象存储(COS)上。 使用环境 系统环境 Linux 软件依赖 jdk 1.7 or 1.8 配置方法 将要同步的Hdfs集群的core-site.xml拷贝到conf中, 其中包含了NameNode的配置信息 编辑配置文件cos_info.conf, 包括appid和bucket, region以及秘钥信息 可以在命令行参数中指定配置文件位置, 默认读取conf目录下的cos_info.conf 如果命令行参数中的参数和配置文件的重合, 则以命令行为准 注意:命令行参数中的region和endpoint_suffix选项不同时生效,endpoint_suffix是最终请求URL的后缀部分,请求的URL由bucket和endpoint共同组成。 使用方法 查看命令行支持的选项 在HDFS_


【文件预览】:
hdfs_to_cos_tools-master
----conf()
--------cos_info.conf(498B)
--------core-site.xml(236B)
--------log4j.properties(2KB)
----log()
--------.gitkeep(0B)
----opbin()
--------rebuild.sh(246B)
----src()
--------test()
--------main()
----LICENSE(1KB)
----README.md(3KB)
----dep()
--------hdfs_to_cos-1.0.0-jar-with-dependencies.jar(45.15MB)
----hdfs_to_cos_cmd(191B)
----pom.xml(4KB)
----scp()
--------.gitkeep(0B)

网友评论