文件名称：数据分析和数据建模.pdf
文件大小：272KB
文件格式：PDF
更新时间：2022-12-23 22:53:58
文档资料
数据分析和数据建模 大数据应用有几个方面， 一个是效率提升， 帮助企业提升数据处理效率， 降低数据存储成本。 另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都 是通过线下渠道接触客户，客户数据不全，只能利用财务数据进行业务运营分析，缺少围绕 客户的个人数据，数据分析应用的领域集中在企业内部经营和财务分析。 大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数 据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以 及业务提升。过去企业都是通过线下渠道接触客户，客户数据不全，只能利用财 务数据进行业务运营分析，缺少围绕客户的个人数据，数据分析应用的领域集中 在企业内部经营和财务分析。 数字时代到来之后，企业经营的各个阶段都可以被记录下来，产品销售的各个环 节也被记录下来，客户的消费行为和网上行为都被采集下来。企业拥有了多维度 的数据，包括产品销售数据、客户消费数据、客户行为数据、企业运营数据等。 拥有数据之后，数据分析成为可能，企业成立了数据分析团队整理数据和建立模 型，找到商品和客户之间的关联关系，商品之间关联关系，另外也找到了收入和 客户之间的关联关系。 典型的数据分析案例如沃尔玛啤酒和尿布、 蛋挞和手电筒， Target 的判断 16 岁少女怀孕都是这种关联关系的体现。 关联分析是统计学应用最早的领域，早在 1846 年伦敦第二次霍乱期间，约翰医 生利用霍乱地图找到了霍乱的传播途径，平息了伦敦霍乱，打败了霍乱源于空气 污染说的精英，拯救了几万人的生命。伦敦霍乱平息过程中，约翰医生利用了频 数分布分析，建立了霍乱地图，从死亡案例分布的密集程度上归纳出病人分布同 水井的关系， 从而推断出污染的水源是霍乱的主要传播途径， 建议移除水井手柄， 降低了霍乱发生的概率。 另外一个典型案例是第二次世界大战期间，统计分析学家改造轰炸机。英美联盟 从 1943 年开始对德国的工业城市进行轰炸，但在 1943 年年底，轰炸机的损失 率达到了英美联盟不能承受的程度。轰炸军司令部请来了统计学家，希望利用数 据分析来改造轰炸机的结构，降低阵亡率，提高士兵生还率。统计学家利用大尺 寸的飞机模型，详细记录了返航轰炸机的损伤情况。统计学家在飞机模型上将轰 炸机受到攻击的部位用黑笔标注出来，两个月后，这些标注布满了机身，有的地 方标注明显多于其他地方， 例如机身和侧翼。 有的地方的标注明显少于其他地方， 例如驾驶室和发动机。统计学家让军火商来看这个模型，军火商认为应该加固受 到更多攻击的地方，但是统计学家建议对标注少的地方进行加固，标注少的原因 不是这些地方不容易被击中，而是被击中的这些地方的飞机，很多都没有返航。 这些标注少的地方被击中是飞机坠毁的一个主要原因。 军火商按照统计学家的建 议进行了飞机加固，大大提高了轰炸机返航的比率。以二战著名的 B-17 轰炸机 为例，其阵亡率由 26%降到了 7%，帮助美军节约了几亿美金，大大提高了士兵 的生还率。 一 数据分析中的角色和职责 数据分析团队应该在科技部门内部还在业务部门内部一直存在争议。 在业务部门 内部，对数据场景比较了解，容易找到数据变现的场景，数据分析对业务提升帮 助较大，容易出成绩。但是弊端是仅仅对自己部门的业务数据了解，分析只是局 限独立的业务单元之内，在数据获取的效率上，数据维度和数据视角方面缺乏全 局观，数据的商业视野不大，对公司整体业务的推动发展有限。业务部门的数据 分析团队缺少数据技术能力，无法利用最新的大数据计算和分析技术，来实现数 据分析和建模。数据分析和计算依赖于科技部门，效率较低，无法打通各个环节 和实现效率和收益最优。 数据分析和挖掘部门位于科技部门，优点是直接可以了解所有数据，利用最新的 大数据计算分析技术来进行数据分析和建模，数据视野好。面对全局数据建立数 据采集和分析系统，系统复用程度高，降低重复投资，效率高。但是团队人员商 业敏感度低，过度关注技术和架构，重视技术的领先和处理效率，数据商业敏感 度低，不重视数据商业化场景，对业务理解程度不够，支持力度不如前者。科技 部门愿意搭建一个大数据平台，让业务部门自己去寻数据场景，业务部门在数据 商业化过程中也会遇到环节不畅通，效率低下的问题。 数据分析团队应该属于独立的部门，为所有的业务部门提供服务，具有独立的技 术团队，可以搭建独立的大数据计算和分析平台，利用最新的数据处理技术来建 立模型进行分析。另外数据分析团队的人应来源于业务部门，具有高度的数据商 业敏感度，可以将业务部门的需求分解为数据需求，将业务场景同数据场景以及 数据分析相结合起来。 数据分析是一项实践性很强的工作，涉及到很多交叉学科，需要不同的岗位和角 色，来实现不同的性质的工作。基本的岗位和角色