文件名称：探究大数据下的智能数据分析技术.pdf
文件大小：589KB
文件格式：PDF
更新时间：2022-12-24 15:47:35
文档资料
科技创新导报 2014 NO.10 Science and Technology Innovation Herald 创 新 技 术 科技创新导报 Science and Technology Innovation Herald 21 对于数 据分析来说，其主要的目的就 是通过对数据的分析去发现问题或预测趋 势。 从数据钻取、 大规模分析的技术手段、 以及算法执行上来说， 大规模分析是和小 规模数据在技术上是有很大差异的。想要 探究大数 据下的智能数 据分析技术， 首先 要对数据分析这一概念进行深入研究。 1 数据分析 数据分析的过程其实简单的说就是做 报告， 做什么样的报告反映什么样的指标。 最开始的时候基本上是data processing。 例如零售行业来说，最主要的指标就是库 存、 销售同比增长情况、 利润同比增长情况、 促销率等等。 对于不同的行业会有不同的相 关的KPI需要跟踪， 所以报告的内容也会有 所侧重， 但是只要你一个行业做久了， 熟悉了 套路之后， 基本上就是以同样的方法开展。 对于数据分析， 如果公司部门分的比较 细的（例如可能有建模组）， 那么做数据分 析可能永远都是做data processing了 。 对 于模型的分析， 需要你对业务有了深入的了 解就可以建立一些模型出来（例如推荐 模 型）等等。 数据分析主要涉及的技能： (1)数据库的能力。 越全面越好， 如果不 是理工科的， 最起码要会select那些简单的 查询语句。 (2)EXCEL、P P T的能力。报告的呈现 一 般 都是Excel+PP T的形式，最好V BA， 这样就可以将很多人工的工作转化为自动 化的能力， 提高工作效率， 领导也对你刮目 相看， 自己也有更多空余的时间准备其他方 面的知识。 (3)市场分析能力。学会观察市场的走 向和关注的内容， 例如零售行业， 现在大家 都对 C R M很热衷，那相关的分析方 法和方 式是怎么样的， 你要自己去了解。从来不会 有人手把手的将所有东西都告诉你， 你必须 自己学会去增长知识。 (4)一些会计的知识。因为通过以上分 析， 就是会计管理的一部分内容， 最后还是 公司盈利问题。 有兴趣的也可以去看看战略 管理方面的，对于做数据分析也很有好处 的说。 综合来看， 可以说数 据分析 = 技术+市 场+战略。 2 如何培养数据分析能力 理论： 基础的数 据分析知识，至少知道如何 做趋势分析、 比较分析和细分， 不然拿到一 份数据就无从下手； (2)基础的统计学知识， 至少基础的统 计量要认识， 知道这些统计量的定义和适 用条件，统计学方法可以让分析过程更加 严谨， 结论更有说服力； ( 3 )对 数 据 的 兴 趣 ，以 及 其 它 的 知 识 多 多 益 善 ，让 分 析 过 程 有 趣 起 来 。 实践： (1)明确分析的目的。 如果分析前没有明 确分析的最终目标， 很容易被数据绕进去， 最终自己都不知道自己得出的结论到底是 用来干嘛的； (2)多结合业务去看数据。 数据从业务 运营中来， 分析当然要回归到业务中去， 多熟悉了解业务可以使数据看起来更加透 彻； (3)了解数据的定义和获取。最好从数 据最初是怎么获取的开始了解， 当然指标的 统计逻辑 和规则是必须熟记于心的，不然 很容易就被数据给坑了； (4)最后就是不断地看数据、 分析数据， 这是个必经的过程， 往往一个工作经验丰富 的非数据分析的运营人员要比刚进来不久 的数据分析师对数据的了解要深入得多， 就是这个原因。 3 大数据 大数据就是通过统计分析计算机收集 的数据， 在人们可能不知道 "为什么" 的前提下， 了解到事物的状态、 趋势、 结果等"是什么" 。 对于大数据， 一直来说， 数据规模导致 的存储、运算等技术问题从来不是最重要 的瓶颈。 瓶颈只在于前端数据的收集途径， 以 及 后 端 商 业 思 想引领 的 模 型和 算 法 问 题。早 期的各 类 OLA P工具已 经 足够了，后 来类似海杜普这样的研究则彻底降低了分 布式数据的架构成本和门槛，就彻底将大 数据带入了一个普及的领域。 从技 术层面说， 大数 据和以前的数 据 时代的最大差异在于， 以前是数据找应用/ 算法的过程（例如各大银行的大集中项目， 以及数据建仓） ， 而大数据时代的重要技术 特征之一， 是应用/算法去找数据的过程， 因为数据规模变成了技术上最大的挑战。 大数据的特点: (1)大数据不等同于数据大， 我们处理 问题是根据这个问题的所有数据而非样本 数据， 即样本就是总体； 不是精确性而是混 杂性； 不是因果关系而是相关关系。 (2)大数据应用的几个可能:当文字变成 数据， 此时人可以用之阅读， 机器可以用之 分析； 当方位变成数据， 商业广告， 疫