hive常用命令

1.创建数据(文本以tab分隔)

vim test1_hive

2.创建新表

CREATE TABLE t_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|';

3.导入数据test1_hive到t_hive表

LOAD DATA LOCAL INPATH '/lost+found/test1_hive' OVERWRITE INTO TABLE t_hive ;

4.查看表数据

查看表

show tables;

正则表达式匹配表名

show tables '*i*';

查看表数据

select * from t_hive;

查看表结构

desc  t_hive;

5.修改表

增加字段

ALTER TABLE t_hive ADD COLUMNS (d String);

修改表名

ALTER TABLE t_hive RENAME TO t_wang;

6.删除表

drop table t_wang;  

7.hive交互式模式

   quit,exit:  退出交互式shell

   reset: 重置配置为默认值

set <key>=<value> : 修改特定变量的值(如果变量名拼写错误，不会报错)

set:  输出用户覆盖的hive配置变量

set -v : 输出所有Hadoop和Hive的配置变量

   add FILE[S] *, add JAR[S] *, add ARCHIVE[S] * : 添加 一个或多个 file, jar, archives到分布式缓存

   list FILE[S], list JAR[S], list ARCHIVE[S] : 输出已经添加到分布式缓存的资源

   list FILE[S] *, list JAR[S] *,list ARCHIVE[S] * : 检查给定的资源是否添加到分布式缓存

delete FILE[S] *,delete JAR[S] *,delete ARCHIVE[S] * : 从分布式缓存删除指定的资源

! <command> :  从Hive shell执行一个shell命令

   dfs <dfs command> :  从Hive shell执行一个dfs命令

<query string> : 执行一个Hive 查询，然后输出结果到标准输出

   source FILE <filepath>:  在CLI里执行一个hive脚本文件

8.数据导入

之前已经导入了数据，现在HDFS中查找刚刚导入的数据

hadoop fs -cat /user/hive/warehouse/t_wang/test1_hive

从其他表导入数据

CREATE TABLE t_hive2 (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|';     #创建表
INSERT OVERWRITE TABLE t_hive2 SELECT * FROM t_hive;

仅复制表结构不导数据

CREATE TABLE t_hive3 LIKE t_hive;

9.数据导出

从HDFS复制到HDFS其他位置

hadoop fs -cp /user/hive/warehouse/t_hive /

查看复制

hadoop fs -ls /t_hive

hadoop fs -cat /t_hive/test1_hive

通过Hive导出到本地文件系统

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/t_hive' SELECT * FROM t_hive;

查看本地操作系统

! cat /tmp/t_hive/000000_0;

10.Hive查询HiveQL

普通查询：排序，列别名，嵌套子查询

连接查询：JOIN

聚合查询1：count, distinct

聚合查询2：count, avg

聚合查询3：GROUP BY, HAVING

11.hive视图

create view v_hive as select a,b from t_hive where c>30;

删除视图

drop view v_hive;

12.hive分区表

分区表是数据库的基本概念，但很多时候数据量不大，我们完全用不到分区表。Hive是一种OLAP数据仓库软件，涉及的数据量是非常大的，所以分区表在这个场景就显得非常重要。

下面我们重新定义一个数据表结构：t_hft

创建数据

     vim /lost+found/t_hft_1   

000001,092023,9.76
000002,091947,8.99
000004,092002,9.79
000005,091514,2.2
000001,092008,9.70
000001,092059,9.45

     vim /lost+found/t_hft_2    

000001,092023,9.76
000002,091947,8.99
000004,092002,9.79
000005,091514,2.2
000001,092008,9.70
000001,092059,9.45

创建数据表

     DROP TABLE IF EXISTS t_hft;  

CREATE TABLE t_hft(
     SecurityID STRING,
     tradeTime STRING,
     PreClosePx DOUBLE
) PARTITIONED BY (tradeDate INT)

    ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

导入数据

LOAD DATA LOCAL INPATH '/lost+found/t_hft_1' OVERWRITE INTO TABLE t_hft PARTITION (tradeDate=20160220);
LOAD DATA LOCAL INPATH '/lost+found/t_hft_2' OVERWRITE INTO TABLE t_hft PARTITION (tradeDate=20160221);

查看分区表

SHOW PARTITIONS t_hft;

查询数据

select * from t_hft where securityid='000001';

select * from t_hft where tradedate=20160220 and preclosepx<9;

13.动态写入分区表

创建分区表

导入数据

批量导入新建的分区表

14.导出表中的数据到文件

export table dept_count to '/lost+found/hive_dept_count_o';

15.不需要打开命令行界面，直接执行完查询

hive -e 'use test;select * from t_hive';

16.有时候需要执行多个查询，可以通过操作文件来执行

hive -f test.sql

17.hive中直接查看hdfs中的文件

dfs -ls /;

18.查看已经存在的数据库

describe database test;

19.查看表的详细信息及注释

desc formatted student;