Impala的外部命令和内部命令。
Impala-shell
Impala-shell -p
Select * from ooxx;
就可以对sql语句调优了。
Impala-shell -i node02
可以连接node02
Impala-shell -q ‘select * from ooxx’;
执行查询
Impala-shell -B
Select * from ooxx;
Impala-shell -C:
查询失败时还会继续执行
Impala-shell -f sql.txt
Impala-shell -C:出错了还继续执行
Impala-shell -B:格式化
Impala-shell -p
Impala-shell -o 可以重定向
Impala-shell -r:刷新所有
Impala 接:
Refresh:只能触发自己已有的表
Set explain_level = 3;
Explain select * from ooxx;
数字越大,级别越高,显示的越多。
Select * from ooxx;
Profile;使用场景,
Shell pwd
Shell ls -l /;
修改impala的配置
压缩
Impala添加分区
压缩和文件类型
压缩数据:为了规避I/O的操作,
对于压缩的加压缩;正面大于负面影响。解压不会超过十分钟
生活中的解压:从内存到磁盘,再写回到内存
在速度,功能、效率方面做一个抉择
Impala不支持:xml,json函数
Impala 的插入数据,直接插入。
Insert into t_person values(1,hex(‘hello word’));
其他表:
Insert into tab_3 select * from tab_2;
批量插入数据:
load data local inpath ‘/xxx/xxx’ into table tab_1;
Impala:支持简单的普通的快速查询
对服务器要求很高,查询速度达不到毫秒级别。
Create table
创建表(外部表)
默认方式创建表:
create external table tab_p1(
id int,
name string
)
location ‘/user/xxx.txt’
指定存储方式:
create external table tab_p2 like parquet_tab
‘/user/xxx/xxx/1.dat’
partition (year int , month tinyint, day tinyint)
location ‘/user/xxx/xxx’
stored as parquet;
Hive和hbase整合:
Hive最核心的点是metastore
在hive中创建表
Hive和hbase做成映射关系
大数据中磁盘I/O和网络I/O
重点:下去看sql
京东读书