Hive通过动态分区装载数据

时间:2021-12-18 13:44:58

进入hive:

1、创建分区表t12

create table t12(id int,name string) partitioned by (year:int,month:int) row format delimited fields terminated by '\t';

2、装载数据到分区表t12

load data local inpath 'data/t8' into table t12 partition(year=2015,month=8); 

load data local inpath 'data/t8' into table t12 partition(year=2015,month=9); 

load data local inpath 'data/t8' into table t12 partition(year=2015,month=10); 

load data local inpath 'data/t8' into table t12 partition(year=2015,month=11); 

t8中的数据如下所示:

1       liubiaoxin
2       chenxiaoqiong
3       zhangsan
4       lisi
5       wangwu
6       zhaoliu


3、创建分区表t13

create table t13(id int,name string) partitioned by (year:int,month:int) row format delimited fields terminated by '\t';


4、动态加载数据到分区表

insert into table t13 partition(year=2015,month) select id,name,month from t12 where year=2015;

执行此语句会把t12表中的year=2015的所有数据插入到新的分区表t13中。注意id,name,month的写法,t13中有id、name、year、month字段,其中year、month为分区字段,插入的时候,因为已经指定year=2015,所以从t12中查询的时候,只指定三列id,name,month就行了。


5、使用全部分区才可以变为动态的

set hive.exec.dynamic.partition.mode=nonstrict; //必须设置,才可以使用全部分区才可以变为动态的


insert into table t13 partition(year,month) select * from t12;