如何把sql server中的数据导入hive,再导入hbase

时间:2022-10-04 06:37:29
关系型数据库(如sql server, oracle, mysql)中某张表的主键为复合主键,如何把这张表的数据导入hive?再把该表数据导入到HBase中去?

8 个解决方案

#1


把表结构刷清晰点,不然后面的人怎么回答你,不具体

#2


比如我在sql server中有一张表,表中有3个字段,id, name, age。 表的主键为复合主键,由字段id和字段name组成。现在我要把这张表中的数据先导入到hive中, 再从hive中导入到hbase中。数据中id是有重复的,name也是有重复的,id和name的组合是唯一的。

#3


引用 1 楼 laol850 的回复:
把表结构刷清晰点,不然后面的人怎么回答你,不具体


比如我在sql server中有一张表,表中有3个字段,id, name, age。 表的主键为复合主键,由字段id和字段name组成。现在我要把这张表中的数据先导入到hive中, 再从hive中导入到hbase中。数据中id是有重复的,name也是有重复的,id和name的组合是唯一的。

#4


方法1.可以用用SQOOP直接把SQLSERVER的数据直接导入Hbase
方法2.先把SQLSERVER数据导出成文件,再把文件Put到HDFS上,对应Hive表目录,最后可以在Hbase表上创建一张Hive的外部表关联Hbase表,通过Insert into把Hive的数据插入到Hbase表中

#5


引用 4 楼 莫忘的回复:
方法1.可以用用SQOOP直接把SQLSERVER的数据直接导入Hbase
方法2.先把SQLSERVER数据导出成文件,再把文件Put到HDFS上,对应Hive表目录,最后可以在Hbase表上创建一张Hive的外部表关联Hbase表,通过Insert into把Hive的数据插入到Hbase表中

表的主键是复合主键啊!

#6


从sql server 到hive可以使用sqoop,hive到hbase有两种方式,一是 bulkload到hbase,二是打通hive到hbase的接口,让hive可以直接读hbase中的内容,这样就可以直接将hive中的表插入到hbase中去。

#7


建议你导入到hbase,

然后hive中创建外部表,连接hbase.


#8


hbase 连接hive创建的外部表,然后通过insert 插入数据查看到 插入的数据与上传的数据位置不匹配,出现错乱是什么原因,难道inser 的插入数据顺序不应该和之前定义的数据顺序一样吗

#1


把表结构刷清晰点,不然后面的人怎么回答你,不具体

#2


比如我在sql server中有一张表,表中有3个字段,id, name, age。 表的主键为复合主键,由字段id和字段name组成。现在我要把这张表中的数据先导入到hive中, 再从hive中导入到hbase中。数据中id是有重复的,name也是有重复的,id和name的组合是唯一的。

#3


引用 1 楼 laol850 的回复:
把表结构刷清晰点,不然后面的人怎么回答你,不具体


比如我在sql server中有一张表,表中有3个字段,id, name, age。 表的主键为复合主键,由字段id和字段name组成。现在我要把这张表中的数据先导入到hive中, 再从hive中导入到hbase中。数据中id是有重复的,name也是有重复的,id和name的组合是唯一的。

#4


方法1.可以用用SQOOP直接把SQLSERVER的数据直接导入Hbase
方法2.先把SQLSERVER数据导出成文件,再把文件Put到HDFS上,对应Hive表目录,最后可以在Hbase表上创建一张Hive的外部表关联Hbase表,通过Insert into把Hive的数据插入到Hbase表中

#5


引用 4 楼 莫忘的回复:
方法1.可以用用SQOOP直接把SQLSERVER的数据直接导入Hbase
方法2.先把SQLSERVER数据导出成文件,再把文件Put到HDFS上,对应Hive表目录,最后可以在Hbase表上创建一张Hive的外部表关联Hbase表,通过Insert into把Hive的数据插入到Hbase表中

表的主键是复合主键啊!

#6


从sql server 到hive可以使用sqoop,hive到hbase有两种方式,一是 bulkload到hbase,二是打通hive到hbase的接口,让hive可以直接读hbase中的内容,这样就可以直接将hive中的表插入到hbase中去。

#7


建议你导入到hbase,

然后hive中创建外部表,连接hbase.


#8


hbase 连接hive创建的外部表,然后通过insert 插入数据查看到 插入的数据与上传的数据位置不匹配,出现错乱是什么原因,难道inser 的插入数据顺序不应该和之前定义的数据顺序一样吗