【项目三】大数据离线分析平台

1.使用eclipse导入javaweb项目 test-aura

具体导入方法使用下面的连接

/jenrey/article/details/80457591

2.修改数据埋点收集的数据发送Nginx的位置

注意修改后需要重新部署到Tomcat中

3.点击页面在Nginx端产生数据

http://localhost:8080/test-aura/

随意点点

[hadoop@hadoop04 ~]$ su

[root@hadoop04 ~]# cd /var/log/nginx

[root@hadoop04 nginx]# tail -F

4.编写JavaSDK代码

用来写后台的两种数据埋点

5.编写连接Nginx的代码

然后测试代码hbase-test

上述做完就是：数据通过编写数据埋点 -》Nginx服务器上面了

6.使用flume把Nginx的数据存入HDFS

现在我们要做的就是通过Flume读取Nginx上面的数据存到HDFS

source：exec

channel：memory

sink：hdfssink




# Name the components on this agent



 = r1



 = k1



 = c1



 



# Describe/configure the source



. = exec



. = tail -F /var/log/nginx/



 



 



 



# Use a channel which buffers events in memory



. = memory



 



 



# Describe the sink



. = hdfs



. = hdfs://hadoop1:9000/flume/%Y%m%d



. = true    #设置上面的年月日，一定要设置这个参数



. = DataStream



. = 0



. = 10240



. = 0



 



 



 



# Bind the source and sink to the channel



. = c1



. = c1