【文件属性】:
文件名称:WebLogsAnalysisSystem:用于分析Web访问日志的大数据平台
文件大小:3.89MB
文件格式:ZIP
更新时间:2021-03-11 17:50:03
系统开源
基于HBase的网站日志数据分析系统
系统说明
1.数据库设计
日志数据
该表用于存储经数据清洗,转化后的数据
数据库类型:HBase
表结构
行键
Struts
行键
IP /字节/ URL /日期/方法/ FYDM /字节
RowKey结构设计说明
RowKey划分日期+网站代码后三位+六位数ID各部分说明如下:
初步
解释
例子
日期
日志文件的产生日期(纯数字,排除空格和-)
20170808
公司代码
公司代码后三位
200
ID
从100000开始的六位数字,用于唯一的标明数据并对齐
100001
完整例子201708082001000000表示代号为200点公司在2017-08-08产生的一次请求
建表语句
创建“ LogData”,“ prop”
LogAna
该表用于存储分析之后的数据
数据库类型:HBase
表结构
行键
知识产权
网址
字节
MTHOD_STATE