日志案例分析(PV,UV),以及动态分区

时间:2022-02-23 01:14:32

1.实现的流程

  需求分析

    时间:日,时段

    分区表:两级

    PV

    UV

  数据清洗

    2015-08-28 18:19:10

    字段:id,url,guid,tracktime

  数据分析

  导出

2.新建源数据库

  日志案例分析(PV,UV),以及动态分区

3.新建表

  日志案例分析(PV,UV),以及动态分区

4.加载原始数据

  日志案例分析(PV,UV),以及动态分区

5.查看部分结果

  日志案例分析(PV,UV),以及动态分区

6.建立清洗数据表(方便下面的分区表的建立)

  日志案例分析(PV,UV),以及动态分区

  日志案例分析(PV,UV),以及动态分区

7.为清洗表加载数据

  日志案例分析(PV,UV),以及动态分区

8.展示部分清洗过后的数据

  日志案例分析(PV,UV),以及动态分区

9.建立分区表

  日志案例分析(PV,UV),以及动态分区

10.加载数据

  日志案例分析(PV,UV),以及动态分区

11.展示部分结果

  日志案例分析(PV,UV),以及动态分区

二:动态分区表的建立

12.动态分区的配置修改 

  <property>
    <name>hive.exec.dynamic.partition</name>
    <value>true</value>      ---》》默认是true,不需要再修改
    <description>Whether or not to allow dynamic partitions in DML/DDL.</description>
  </property>

  <property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
  </property>

  日志案例分析(PV,UV),以及动态分区

13.新建分区表

  日志案例分析(PV,UV),以及动态分区

14.加载数据

  日志案例分析(PV,UV),以及动态分区

15.查看部分结果

  日志案例分析(PV,UV),以及动态分区

三:数据分析,实现需求

16.实现需求

  日志案例分析(PV,UV),以及动态分区

17.把结果存入result中

  日志案例分析(PV,UV),以及动态分区

17.导出数据进入mysql

  1.新建表

  日志案例分析(PV,UV),以及动态分区

  2.整体输出结果

  日志案例分析(PV,UV),以及动态分区

  3.查看结果(mysql中)

  日志案例分析(PV,UV),以及动态分区