【SDCC讲师专访】吕毅:链家网大数据平台的架构演进

时间:2024-03-28 13:05:25

2016年11月18日-20日,由CSDN重磅打造的年终技术盛会,SDCC 2016中国软件开发者大会将在北京举行,大会面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,从而助力企业的技术升级和改造、全面提升技术人员的综合实力。会前我们有幸采访了架构演进专题的吕毅老师:

【SDCC讲师专访】吕毅:链家网大数据平台的架构演进

链家网大数据平台架构团队负责人,链家网架构师 吕毅

吕毅,链家网大数据平台架构团队负责人,链家网架构师。2015年8月加入链家网,之前负责过链家网基础服务平台建设。 曾供职于百度移动云事业部(2012~2015),新浪平台架构部SAE(2010~2012)。

以下为采访正文

CSDN:请先和大家介绍一下您和目前所从事的工作以及关注哪些技术领域?

吕毅:大家好,我目前负责链家网大数据平台建设,也就是大家常说的Data infrastructure相关的工作,目标是通过技术手段,面向全公司提供平台化工具化的大数据服务,提供数据全面并使用便捷的数据分析、数据获取的平台。

平日里,我一方面会关注开源项目,以及它所能构建出的能力;另一方面比较关注技术解决方案与架构变迁,关注公司内、行业内如何通过技术手段解决实际业务问题,以及架构改造引入的成本与带来的好处。

CSDN:您在新浪、百度等大公司都供职过比较长的时间,可否谈下您此前公司的感受?

吕毅:这两段工作经历都帮助我获得了全方面的成长。在新浪平台架构部期间,会接触各种技术方向的工程师,开阔了技术视野的同时,也体会到了技术驱动型项目的开展方式。在百度期间,一直在手机百度这款移动APP的服务端团队做研发工作,因为属于业务团队,接触的项目角色多且项目节奏快,提升了我综合能力的同时,也对项目管理与工作流程有了清晰的认识,特别是我在百度的中后期,主导一些跨团队的平台服务建设,提升了不少架构设计的能力。

综合来看,技术方面一直在成长,技术外的部分在不同阶段有不同的收获。

CSDN:您已经在链家网工作一年多,能够谈下作为一名技术人员的你,当时为何选择链家网?

吕毅:我一直青睐开创中的团队。毕业时选择新浪SAE,是SAE刚刚创立不久,并且在那时是国内第一家PaaS平台。之后选择手机百度APP团队,是因为那时的手机百度整体还是三四十人的小团队,太多移动领域的挑战需要去解决。

在去年,链家网刚搬到西二旗办公不久,那会链家网整体一百多人,这个垂直领域同样有太多技术工作待开展,迫切需要有效的线上解决方案来改善房产交易。正是这些技术挑战,吸引着我选择了链家网。来链家网工作已一年多,实现了很多技术项目,产生价值的同时也验证了我之前的想法。

CSDN:此外,作为一名技术人员,您至今成为了一个团队的技术负责人,能够谈下在做工程师、高级工程师、架构师,其中的变化有哪些?尤其同时负责技术与管理时,有什么心得和体会可分享?

吕毅:在我眼中,技术角色都是工程师,高级、资深与架构,只是对工程师能力的一种认可。既然都是工程师,工作内容的变化不大,还是以研发工作为主。只是随着阶段递进,需要承担的责任越大,这需要不断提升自己与同事的技术能力,优化解决问题的方法,来支撑好本职工作。

随着负责的项目越多越重要,与自己一起做事的同事会多起来,今年初我们还是7人团队,管理与研发工作的比例大概是1:2,如今我们已是16人团队,我的管理与研发工作比例已是1:1。期间感受是,给予团队成员技术提升空间的同时,也应给予骨干成员管理工作锻炼的机会。一些小组内的工作他们可以直接决策,我会与他们做好及时同步。这可以避免我过度关注细节,也可以帮助成员全面成长,同时也是梯队建设的过程。我还是希望有些精力开展技术攻坚,带领团队凌峰再登高。

CSDN:从工程师到架构师的转变需要做好哪些准备呢?

吕毅:回答这个问题显得有些卖弄,简单两点吧。

第一点是技术规划,工程师时更关注当下问题,而架构师除了当下,还需要及时规划好半年到一年的事情,把半年内的技术架构设计清楚,达到可执行状态并有效落地,并且逐步去接近一年的目标。这需要工程师锻炼自己的技术规划、方案设计与前瞻性能力。

第二点是关注细节,工程师阶段常常完成手头任务即可,很少理解实现细节、有无更优方案、背后原理这些刨根问题的问题。而架构师则需要设计出架构的同时,看的出整体项目的关键环节,并有能力详细设计与实现这些环节中的细节。架构不太容易出太大偏差,但成败往往由细节决定。

好了,只说两点吧,有宏观的规划与微观的细节,不发散了,若展开详细讲,我看能写本书了。

CSDN:链家网大数据部门已经成立一年多,缘何会成立这样的一个部门?

吕毅:链家已经成立十五年,线下经纪人13万名,围绕的线下房产交易,有大量的运营需求需要数据支撑,分城市、分商圈、分门店的情况都需要细分。所以,在链家网成立初期,集团运营数据需求就已经有了,故在2015年初就搭建了第一套系统来支持数据报表,逐渐围绕着上层需求,构建起了链家网大数据架构。也是在那时,成立的大数据部门,为公司做好数据支撑。

CSDN:目前该团队主要支持公司哪些业务?以及改变了什么?

吕毅:我们目前数据分析方向上支持的团队有运营体系、研究院、内容体系、市场部门、数据开发团队,以及各业务线数据分析PM。数据产品方面,我们面向用户的产品链家网、掌上链家APP中的数据频道、趋势数据是由大数据团队做数据与技术支持,面向内部的房客管理、客源情况数据也是基于大数据的数据应用产品。

CSDN:能否简单分享下当前的大数据平台的架构演进?

吕毅:这块内容正是本次大会将会详细介绍的,链家网大数据从最初的技术支持报表需求,到年初的技术实现自助报表需求,到现在的技术搭建平台提供数据分析、数据获取服务,这正是链家网大数据这一年多所经历的,其中涉及到的架构变迁、新技术方案的引入、大数据平台化等等都会在大会上详细介绍,这里提供一张我们一两个月前的设计图,供大家预览。

【SDCC讲师专访】吕毅:链家网大数据平台的架构演进

图1:链家网大数据平台

我们在三个月前开始着手规划链家网大数据平台,从目前链家网大数据应用的需求为主,设计了上图中的几大部分。最上层提供数据服务,包括数据分析服务与数据API服务。中间构建大数据工具链,提供OLAP引擎、AdHoc引擎与调度引擎,底层是集群部分,目前技术选型以开源为主,旁路的我们在做集群安全与集群调度工作。贯穿上中下三部分的数据管理,涵盖应用层的权限管理、全公司元数据与指标的管理平台、调度任务管理和集群权限管理。详细的架构设计与讲解,欢迎大家到场一起交流。

CSDN:在本次SDCC 2016*北京站的架构演进主题上,您分享的话题是?

吕毅:本次大会我将分享《链家网大数据平台架构变迁》,详细的介绍链家网产品技术团队在大数据方向上的工作,结合链家网大数据一年多的发展历程,图文并茂的分享这期间的架构变迁过程,相信其中的一些技术选型,取舍与收益,定会对大家建设大数据平台有所帮助。


欢迎你的到来,让我们一起畅游电商架构技术的海洋,我们在SDCC 2016·北京站等你。目前门票火热销售八折优惠中,5人以上团购立减800元,点击这里注册参会

【SDCC讲师专访】吕毅:链家网大数据平台的架构演进