从零起步学python计划及感想

时间:2022-02-02 04:58:45

  从纯传统bi转型过来的技术顾问,比较有优势的是对业务的熟悉,对数据有敏感度,熟悉数据模型。但是长年累月基本都是用sql处理问题。目前还没有经历过sql解决不了的问题,一个sql解决不了就用临时表,几个sql解决(笑)。虽然不是最佳实现。但目前还都能凑合应付,但咱不能就此停步不前吧?整合这段时间项目有空,于是就研究了一下用python写udf。why python??因为我还不会java啊,python相对容易学习啊。而且python学好了,还可以搞搞爬虫,搞搞机器学习呢。当然,以后也有吧这些python udf 转换成java代码的准备。毕竟技术要全,也要精啊。

  用python 写udf,我也是零基础搞起。网上一搜一大堆的的上挂python udf到hive的教程。也都很简单,也很清晰。于是学习起步了,我挑了一个比较好实现的来学习,输出一大堆用python写的日期处理函数(毕竟我还是比较偷懒的人嘛)。该函数里面包括了月头,月末,季度头,季度末,周一,周末,年头,年末,n天后,n周后,n月后,n季度后的处理函数。中间还做了一个以本行数据对比上行数据的趣味实现。

  逻辑嘛无非就是一大堆数字处理,字符串处理。在开发n周,n季度的时候才发现,我去,可以调用之前的函数来方便计算(比如n周的计算可以调用周一的函数和计算n天的函数),于是又学习python的函数调用。

  比较有意思的是季度的计算:Quarter_begin='0'+str(int(int(month)/3.1)*3+1)

  这些都是比较简单的实现,只是大概对python有个了解。如果要了解爬虫要懂网站架构,还要会搞分布式,会破解验证码什么的。如果要了解机器学习也要学习哪些python 的算法包。(本人也没做过,后期还需要再选个方向学习。不过大概会是机器学习吧~)

  废话了这么多。其实也是因为之前一直想学习python,但是一直都没找到合适的着力点。但是写完本次这轮代码后,对python算是有个大概了理解了,虽然还是很浅显,但基本能满足日常对日期使用的要求了。心里还是美滋滋的。当然了这些东西对大神来说都不值一提的。希望各位也是和我一样处在转型学习阶段的童鞋。也都能找到自己的学习方法。

  过段时间我会整理我的代码。并分享出来。求大神们帮忙指正学习。并求往后的一个学习路线。