bdp2hive:生成hive分区表、sqoop导入数据至hive

时间:2024-05-18 14:09:46
【文件属性】:

文件名称:bdp2hive:生成hive分区表、sqoop导入数据至hive

文件大小:23KB

文件格式:ZIP

更新时间:2024-05-18 14:09:46

Java

bdp2hive项目介绍 一、概述 项目主要是集成生成sqoop脚本和创建hive分区表组件。生成sqoop脚本组件主要通过传递的数据库信息查询数据库获取表字段与数据集之间的对照关系SQL语句,通过模板拼接成sqoop脚本,上传服务器执行;hive分区表生成组件主要是通过获取数据集及数据集item的code,数据集code作为hive表名,数据集item code作为hive分区表字段,同时加入相关字段,形成hive表的基本结构。 项目结构 ─src ├─main │ ├─java │ │ └─com │ │ └─cecdata │ │ └─bdp2hive │ │ ├─common │ │ │ ├─mapper │ │


【文件预览】:
bdp2hive-master
----.gitignore(39B)
----src()
--------main()
----pom.xml(6KB)
----README.md(3KB)

网友评论