Hive 视图 索引 动态分区装载数据

视图

创建视图
create view v_emp AS select t.name, t.age, t.addr from t_emp;

删除视图
drop view if exists v_emp;

索引

创建索引
create index t_emp_index
    on table t_emp (name)
    as ‘org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler’
    with deferred rebuild in table t_index;

显示索引

重建索引
alter index t_emp_index on t_emp rebuild;

删除索引
drop index if exists t_emp_index on t_emp ;

普通装载数据（分区需指定）

• 从文件中装载数据

  hive>LOAD DATA [LOCAL] INPATH ‘…’ [OVERWRITE] INTO TABLE t_employee [PARTITION (…)];

• 通过查询表装载数据

  hive>INSERT OVERWRITE TABLE t_emp PARTITION (…) SELECT * FROM xxx WHERE xxx

• 批量插入

  hive>FROM t_emp
              INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …
              INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …
              INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …

  
  

动态分区装载数据（分区不需指定）

• 若没有开启动态分区只支持以下写法

  hive>INSERT OVERWRITE TABLE t_test PARTITION (country=’china’, city=’chengDu’)
                SELECT name, age, addr
                 FROM t_emp
               WHERE t_emp.country = ‘china’
                   AND t_emp.city = ‘chengDu’;
  
  

• 开启动态分区支持

  hive>set hive.exec.dynamic.partition=true; // 开启动态分区
  hive>set hive.exec.dynamic.partition.mode=nostrict; // 设置为非严格模式
  hive>set hive.exec.max.dynamic.partitions.pernode=1000; // 最大动态可分区数
  hive> insert overwrite table t_dynamic partition(country, city) select name, age, addr, country, city from t_emp;

  
  

数据导出

• 通过hdfs方式导出

  到本地
  hive> dfs -copyToLocal /user/hive_remote/warehouse/t_dynamic /home/tt;
  或
  hive> dfs -get /user/hive_remote/warehouse/t_dynamic /home/t_dynamic;
  

  到hdfs
  hive> dfs -cp /user/hive_remote/warehouse/t_dynamic /tmp/t_dynamic;
  

• 使用DIRECTORY

  hive> insert overwrite [local] directory ‘/home/tt2’ select * from t_dynamic;
    加local到本地/默认到hdfs