文件名称：大数据时代数据挖掘与分析-讲义.pdf
文件大小：3.39MB
文件格式：PDF
更新时间：2022-12-23 22:20:26
文档资料
大数据时代数据挖掘与分析 讲师 杨庆跃 2015.8.11 目录 一、导入:移动互联网、云计算、物联网 二、什么是大数据 三、大数据应用现状与应用热点 四、数据分析与挖掘概述 六、聚类分析--客户分群 五、关联分析--交叉销售与提升销售 七、分类分析--客户流失预测 八、回归与时间序列--业务指标预测 九、电信行业大数据应用现状与案例 数据、信息、知识 数据 对现实世界中客观事物的符号表示，未经 加工 可以是数值数据，也可以是非数值数据， 如声音、图像等 信息 信息是含有一定量商务信息和意义的数据， 是经过提炼、加工和集成的数据。 有价值的数据 数据 VS 信息 ？ 数据 VS 信息 ？ 59.2 43.9 75.4 11.0 26.0 15.0 24.6 23.8 120.9 11.7 8.9 11.8 25.4 4.5 13.5 0.1 18.3 6.1 0.5 1.0 5.8 1.3 0.0 0.0% 20.0% 40.0% 60.0% 80.0% 100.0% 0.0 20.0 40.0 60.0 80.0 100.0 120.0 140.0 上海 江苏 浙江 安徽 福建 江西 湖北 湖南 广东 广西 海南 重庆 四川 贵州 云南 * 陕西 甘肃 青海 宁夏 * 北方 北京 网络能力 用户数 实占率 2003年1—5月 中国电信 36.25% 中国移动 27.26% 中国网通 18.66% 中国联通 16.80% 铁通公司 1.03% 用户数增长率％ 资本支出收入比％ 中国移动 中国电信 中国网通 中国联通 5.9 12.3 17.0 36.3 2003上半年 2002全年值 知识 知识把信息提到更高的层次 "可以辅助我们作出决策或采取行动的有 很高价值的一种信息形态" "行动的力量" 数据分析是为了产生知识 提升的层次 信息 知识 数据 管 理 者 关 注 度 低 高 最原始的数值 有价值的数据 用于解决问题的信息 为什么进行数据分析与挖掘? 产品体系丰富 数据分析 数据挖掘 效益/业绩压力 经营管理复杂 竞争日趋激烈 数据分析的发展历程 –分析对象：以产品为主 –数据源：统计报表 –维度：单一维度 –手段：统计分析 –工具：excel –分析对象：增加客户、套餐 –数据源：数据仓库 –维度：多维度 –手段：统计分析 –工具：excel、 brio 、spss等 –分析对象：以客户、套餐为主 –数据源：数据仓库 –维度：更多维度 –手段：统计分析、数据挖掘 –工具：excel、 BO、Cognos、 spss 、 Modeler等 阶段1：固定报表 阶段2：多维报表 阶段3：数据挖掘 数据分析的三个阶段 收集数据时的几点注意事项 数据的时效性 数据的正确性 数据的真实性 数据的统计口径 对数据分析人员的素质要求 审美能 力 系统思 维 了解业 务 熟悉数 据 擅长统 计 软件操 作 正确沟 通 表达能 力 强化和发展分析技巧和水平，并以恰当的方式展现出来。 什么是商务智能? 商务智能（Business Intelligence，BI） – 帮助组织提高决策能力和运营能力的概念、方 法、过程以及软件的集合。 商务智能技术 三个核心技术 – 数据仓库Data Warehouse – 联机分析处理OLAP – 数据挖掘Data Mining 其他： – 数据可视化 – 计算机网络与Web技术 – 云计算 – 大数据 数据挖掘基本概念 "啤酒"和"尿布" 一则广为流传的案例：啤酒和尿布的故事 – 美国加州某个超市连锁店发现: 在下班后前来购买婴儿尿布的顾客多数是男性， 他们往往也同时购买啤酒。 – 处理：重新布置了货架，啤酒类商品、婴儿尿布、土豆片之 类的佐酒小食品、男士们日常生活用品就近布置。 – 结果：上述几种商品的销量几乎马上成倍增长。 塔吉特：比父亲更早知道女儿怀孕 发生在全美第二大零售商塔吉特的故事 – 一位男性顾客到一家塔吉特店中投诉，商店竟然给他还在读 书的女儿寄婴儿用品的优惠券。 – 真相：塔吉特通过对孕妇的消费习惯进行一次次的测试和数 据分析，得出了一些非常有用的结论：孕妇在怀孕头三个月 过后会购买大量润肤露；在头 20周，孕妇会补充如钙、镁、 锌等营养素；除了购买洗手液和毛巾以外，还突然开始大量 采购无味肥皂，说明预产期要来了 数据挖掘定义 数据挖掘是识别数据中有效的、新颖的、潜在有 用的和最终可被理解的模式（知识）的过程。 数据分析工具概览 存储层 展现层 分析层 用户级 部门级 企业级 BI级 统计分析工具SPSS Statistics SPSS是专业的通用统计软件包，兼有数据管理、统计分析、 统计绘图和统计报表功能， SPSS统计分析软件具有下列特点 – 安装简单 – 操作简单 – 无需编程 –