小记--------sqoop的简单从mysql导入到hbase操作

时间:2022-01-18 06:56:45

sqoop import -D sqoop.hbase.add.row.key=true                        //是否将rowkey相关字段列入列族中,默认为false ;该参数必须在import之后 --connect jdbc: mysql://120.27.208.185/bigdatatest        //连接mysql数据库 --username och_test                                    //mysql用户名 --password 1111111                                    //mysql密码 --table t_teacher                                        //mysql表名 --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark        //mysql列名 --hbase-table t_teacher                                //hbase中接受数据的表名 --hbase-create-table                                    //如果接收数据的表名不存在则创建新表 --column-family MM                                        //列族名称,所有源表的字段都进入该列族 --hbase-row-key id                                        //如果不指定该参数,则采用源表的key作为rowkey;可以指定一个字段作为rowkey,或者指定多个字段组合成rowkey(需要用双引号包含多个字段,字段之间以逗号分隔) -m 1                                                    //并发度:1     eg: #使用sqoop 将mysql数据库的t_teacher表的前500w行数据导入hbase sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc: mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --query ‘select * from t_teacher WHERE $CONDITIONS limit 5000000;‘ --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1                                                      eg2: #导入整张表的数据 sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc: mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --table t_teacher  --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1