使用kettle向HBase导入数据

kettle下载地址: 点击打开链接

kettle是一个ETL数据抽取转换工具,并且在数据转换中提供了大数据支持.下面例子测试将数据从Oracle库表中导入到HBase中.

1. 首先将oracle数据库驱动程序放到${data-integration}/lib下
2. 修改${data-integration}/plugins/pentaho-big-data-plugin/plugin.properties文件中active.hadoop.configuration属性,将该属性值设置为  

   active.hadoop.configuration=hdp22

3. 打开${data-integration}/spoon.sh,新建一个转换,转换包含一个表输入和HBase输出:如下图所示:
   
4. 
                                                                
   

              表输入内容如下:

HBase Output配置如下:

• URL to hbase-site.xml中选择Hbase下的配置文件:hbase-site.xml
• 点击"Get table names"可以获取hbase下的表.

• Hadoop cluster配置如下:

• 在"Create/Edit mappings"标签栏中配置字段转换规则:

其中info为Hbase表"Article"中的列簇

4.最后保存转换并运行