文件名称:java连接sqoop源码-hadoop-data-ingestion:呈现用于将数据摄取到Hadoop中的选项
文件大小:5KB
文件格式:ZIP
更新时间:2024-07-05 10:46:34
系统开源
java连接sqoop源码Hadoop 数据摄取 Hadoop 集群不是凭空存在的。 通常,需要将来自各种数据源的数据摄取到 Hadoop 集群中。 本说明收集并回顾了将数据摄取到 Hadoop 集群中的选项。 一般来说,设置如下图所示一样简单: +--------------+ +---------------+ | | | | | | | | | source +-------------->| sink | | | | | | | | | +--------------+ +---------------+ source可以采用不同的形式,包括但不限于以下形式: A 在本地文件系统中 某种类型,例如温度传感器 应用程序日志文件,例如来自 社交媒体流,例如 关系数据库中的一个或多个表,例如 PostgreSQL 或 MySQL Hadoop 文件系统 HDFS 本说明上下文中的接收sink是任何提供兼容访问的系统。 目录 1.从 命令行界面 - hadoop fs -copyFromLocal WebHDFS REST API 网络文件系统 2. 从 阿帕奇水槽 卡夫卡 Faceb
【文件预览】:
hadoop-data-ingestion-master
----README.md(13KB)