Impala部分:impala的命令操作学习

时间:2024-03-23 17:40:54

Impala的外部命令和内部命令。

Impala-shell

Impala-shell  -p

Select * from ooxx;

就可以对sql语句调优了。

Impala-shell  -i node02

可以连接node02

Impala-shell  -q ‘select * from ooxx’;

执行查询

Impala-shell  -B

Select * from ooxx;

Impala-shell  -C:

查询失败时还会继续执行

Impala-shell  -f  sql.txt

Impala-shell  -C:出错了还继续执行

Impala-shell  -B:格式化

Impala-shell  -p

Impala-shell  -o 可以重定向

Impala-shell  -r:刷新所有

 

Impala 接:

Refresh:只能触发自己已有的表

 

Set explain_level = 3;

Explain select * from ooxx;

数字越大,级别越高,显示的越多。

Select * from ooxx;

Profile;使用场景,

Shell pwd

Shell ls -l  /;

修改impala的配置

压缩

Impala添加分区

压缩和文件类型

压缩数据:为了规避I/O的操作,

对于压缩的加压缩;正面大于负面影响。解压不会超过十分钟

生活中的解压:从内存到磁盘,再写回到内存

在速度,功能、效率方面做一个抉择

 

Impala不支持:xml,json函数

Impala 的插入数据,直接插入。

Insert into t_person values(1,hex(‘hello word’));

其他表:

Insert into tab_3 select  * from tab_2;

批量插入数据:

load data local inpath ‘/xxx/xxx’ into table tab_1;

 

Impala:支持简单的普通的快速查询

对服务器要求很高,查询速度达不到毫秒级别。

Create table

创建表(外部表)

默认方式创建表:

create external table tab_p1(

id int,

name string

)

location ‘/user/xxx.txt’

 

指定存储方式:

create external table tab_p2 like parquet_tab

‘/user/xxx/xxx/1.dat’

partition (year int , month tinyint, day tinyint)

location ‘/user/xxx/xxx’

stored as parquet;

 

 

 

Hive和hbase整合:

Hive最核心的点是metastore

在hive中创建表

Hive和hbase做成映射关系

大数据中磁盘I/O和网络I/O

重点:下去看sql

京东读书

Impala部分:impala的命令操作学习