Spark SQL学习有一段时间了,因此花了一些时间写了一个日志清洗的项目,项目已经上传到github上了, 项目地址 感兴趣的可以拉下来看看。
在这里我不讲关于项目的实现过程,清洗之后的结果进行数据展示的时候,除了echarts框架,还发现了另外一种数据展示工具Zeppelin。下面就介绍一下:
Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。
Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等,下面就开始实际操作。
第一步.下载Zeppelin的二进制源码包
wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8.0/zeppelin-0.8.0-bin-all.tgz
大约有七百多兆,然后解压:
tar -zxvf zeppelin-0.8.0-bin-all.tgz -C ~/app/
进入到解压之后的目录中的bin目录下,进行启动:
./zeppelin-daemon.sh start
然后可以通过jps命令进行查看:
然后就可以在浏览器中输入一下命令开始进行操作:
http://服务器ip:8080
会显示以下图形化界面:
第二步.连接配置
在浏览器界面的右上角,有下图所示的可操作按钮,点击interpreter:
在出现的界面中搜索jdbc,然后点击右侧有一个edit的按钮进行连接jdbc的参数的修改:
修改完成之后在下面进行保存,接下来就开始进行操作了.在Notebook中创建一个新的note:
随便填入Note的名字.Default Interpreter要选择jdbc,因为此次是为了获取存在mysql中清洗之后的结果.
打开之后可以进行sql语句的处理了:
然后就开始看他的强大之处了,就是可以根据查到的数据自动进行图形化的展示,其中有表的形式进行展示,著柱状图的形式,饼图的形式:
点击柱状图按钮:
点击饼图按钮:
至此就完成了Zeppelin的使用,想要了解更多可以参考官网进行学习。
Zeppelin官网