HDFSFileTransfer:从本地FS到HDFS的文件传输-开源

时间:2024-08-08 22:53:16
【文件属性】:

文件名称:HDFSFileTransfer:从本地FS到HDFS的文件传输-开源

文件大小:531KB

文件格式:ZIP

更新时间:2024-08-08 22:53:16

开源软件

HDFSFileTransfer 项目的创建和开发是为了方便 Hadoop 用户快速将各种文件(例如:平面、结构化、非结构化、大小文件)从 linux 复制到 Hadoop 文件系统 (HDFS)。 它允许用户传输文件: - 在同一台物理机内 - 从本地文件系统 (linux) 到 HDFS - 在两台物理机之间 - 将文件从安装了 HDFS 集群的本地文件系统 (linux) 复制到另一个 HDFS 集群。 示例 - 可以在两台不同的 linux 机器上安装两个单集群 Hadoop 实例。 该脚本可以将文件从一台安装了 Hadoop 的 linux 机器复制到另一台机器上。 如需进一步参考,请阅读下载部分提供的“HDFSFileTransferByDK.pdf 文档”。


【文件预览】:
config.properties
HDFSFileTransferByDK.sh
Documentation of HDFSFileTransferByDK.pdf

网友评论