我的最后一公里

时间:2021-12-12 03:55:34

一、实习了这么久,总结一下,第一个月就只在接触数据库SQL语句,做了很多重复性的工作,每天只是在看FJR的SQL脚本,根据60个基本表构建20个过程表,并基于此构建一个总的用户汇总表。然后就是在他的脚本基础上改月份的引用,并没有多少进步。

等我将oracle脚本改成了pgsql的存储过程后,又发现其实做这个没有那么必要。所以第二阶段又开始做java程序,其实是一个很简单的程序。

然后最近才开始研究R脚本和python,发现这个工作才叫真正的数据建模和挖掘工作,很有意思,但是工作需要一些业务的知识去筛选变量好设置参数,如果业务了解的话,基本上都只是调用一下函数而已。

我称这个基于数据宽表的建模工作为数据挖掘的最后一公里,因为之前的大量工作都是在数据探索,数据清洗,而最后用到这个模型,只是一个函数,并输出带排名的名单。

等学会了最后一公里的知识,我这个实习的阶段算是结束了,也算是学到了东西。我选择python而不是R,因为python更接近于是一种面向对象的编程语言,与java相似,而且之前有系统学过它的数据类型,是一个很好地过渡语言,同时现在的python也比R更加强大了。


二、总结一下最后一公里需要学的东西有:

python的pandas包、matplotlib包、seaborn包、sklearn包,以及各种数理统计用到的思想。对于数据要有最原始的敏感,知道数据的分布,而且能画出来并表达清楚怎样的取舍;对于各种模型要有了解,在建模的时候知道应该选择哪一种模型更为合适,其实也是可以选择后对比的,但是对于模型的用途:分类、聚类、回归都要有一定的了解。


三、这个数据挖掘的流程算是跑通了,以后对于自己能干什么,会干什么都有一定能的了解了,对于此很欣慰。

虽然数据的准备工作还是在关系型数据库上得到的,最多只是接触到了基于pgsql的greenplum,并没有很深的接触到Hadoop和spark架构,但是这个流程算是通了,从数据准备到数据清洗,数据探索,数据建模,再到模型的用处,我都有一定的知识储备,对于各个流程的每个细节都有一定认识,可以胜任中间任何一个部分!只是需要一个机会。