superset
superset是airbinb开源的可视化web组件,其基于flask-appbuild框架,其可视化能力超强,能够对数据进行展示和探索。因为实验室项目,需要对其进行二次开发,在此记录开发中碰到的问题,以避免下次遇到。
碰到的问题和解决手段如下:
- 一般来说,在superset安装的数据库很多,对其权限管理利用的是sqlite数据库。但是为了对数据进行可视化,当数据量极大时,我们采用mysql,hive等。在配置mysql的时候碰到了一些问题。mysql在linux和windows下的配置文件不同名。windows下为my.ini,linux下为my.cnf。
- 在linux下如果你不知道某个文件的位置,你可以利用locate+文件名来寻找,这里支持模糊匹配,查询速度超快,这一点感觉比windows要快的多。
- 在ubuntu下查看当前监听当前进程的端口等信息的命令是,ps -ef | grep mysql,这个可以快速查看出进程所对应的端口号等信息。
- 在ubuntu下停止,启动和重启mysql业务的命令是/usr/sbin/mysqld stop/start/restart。
- 在编写python程序的时候,我们会注意到文件的最上端有一行,#!/usr/bin/python,#!/usr/bin/env python这两种写法,一般来说推荐第二种。因为第一种是告诉程序去利用/usr/bin目录下的python解释器。而第二条命令是让程序去配置好的环境变量中去寻找python解释器,第二种会更加灵活。
- 我在ubuntu下配置pycharm的superset的二次开发环境,发现pycharm一直在更新index,并且每次打开py项目都会这样,最好的解决办法更新到最新版本,已经修改该bug。
先记录到这,以后碰到问题,继续更新,关于superset的二次开发,关于如何搭建环境,这篇博文讲的比较清楚