spark简介：
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
需要满足的项目需求：
用spark进行实时统计，从kafka中获取数据，流式计算每分钟一次将计算结果存入es，供客户进行查询。
说一次啊这里不用原来直接存入es的方式进行聚合或者存入es之后再进行计算的原因：
1.直接存入es进行聚合的话es中会随着时间的推移保存大量的原始日志，es存入数据量太大的数据会产生性能问题,而且大量用户同时查询也会产生聚合过多的性能问题。
2.先将原始日志存入es，计算结果数据后再次删除原始日志 会产生问题：
1）虽然现有数据量es能够满足要求，但是当数据量再次大增时会产生kafka堆积 - es速度跟不上，而spark的处理速度可以跟得上
2）实时性在逻辑上和技术上得不到很好的保证。例如每次计算当前时间前5分钟的日志（线上python脚本运行时计算当前时间前1小时日志），一旦数据量过大产生kafka堆积，日志不能实时收集到es就会产生计算数据少的问题。
做的过程中遇到的问题：
遇到过内存问题，算是由于缓存处理不当引起的 后来改用了LruCache 现象是不断的进行消费没有产生kafka堆积，但是没有结果数据，运行正常
还有暂时没想起来
spark配置：
ubuntu@sp26:~/apps/spark-1.6.1-bin-hadoop2.6/conf$ cat spark-env.sh | grep -v '#'
export JAVA_HOME=/home/ubuntu/apps/jdk1.8.0_144
export SPARK_MASTER_IP=sp26
export SPARK_MASTER_PORT=7077
ubuntu@sp26:~/apps/spark-1.6.1-bin-hadoop2.6/conf$ cat slaves
sp27
sp28
sp29
sp30
当然要有 ssh免密配置，linux环境变量配置等等，以后的文章会进行补充
启动ubuntu@sp26:~/apps/spark-1.6.1-bin-hadoop2.6$ sbin/start-all.sh
http://sp26:8080
这先是单节点
spark代码：
git地址：
https://github.com/penghaoyou5/SparkLogAnalysis.git