自动将每日的日志增量导入到hive中

时间:2020-12-15 04:31:11

一:大纲介绍

1.导入方式

  load data local inpath 'local_file_path' into table tbname partition (date='',hour='');

2.获取数据源

  20161114/2016111402.log

       /2016111403.log

       /2016111404.log

          ..........

3.hive准备

  导入分区表

二:准备

1.日志目录

  日志目录:/etc/opt/datas/log_hive

  日志的文件夹:20161114

  自动将每日的日志增量导入到hive中

2.在hive中创建分区表

  自动将每日的日志增量导入到hive中

3.有源数据

  自动将每日的日志增量导入到hive中

4.新建脚本,并赋予执行权限

  自动将每日的日志增量导入到hive中

5.获取前一天的时间

  注意加上执行符。

  自动将每日的日志增量导入到hive中

6.显示日志目录

  自动将每日的日志增量导入到hive中

7.使用 -e 加载数据

  自动将每日的日志增量导入到hive中

8.效果

  自动将每日的日志增量导入到hive中

  自动将每日的日志增量导入到hive中

9.第二种方式加载的准备数据

  自动将每日的日志增量导入到hive中

9.使用 -f 加载数据

  )新建文件hive.sql

  自动将每日的日志增量导入到hive中

  )shell语句

  重点:$HIVE_HOME/bin/hive --hiveconf log_dir=$LOG_DIR --hiveconf file=$FILE --hiveconf day=$DAY --hiveconf hour=$HOUR --hiveconf tbname=$HIVE_TB -f /etc/opt/datas/log_hive/hive.sql

  自动将每日的日志增量导入到hive中

  )效果

  自动将每日的日志增量导入到hive中

  )HDFS上效果

  自动将每日的日志增量导入到hive中

10.整体查询

  自动将每日的日志增量导入到hive中