文件名称：大数据的认知.pdf
文件大小：1.55MB
文件格式：PDF
更新时间：2022-12-24 15:28:21
文档资料
学 术 论 坛 / A c a d e m i c F o r u m 94 孙建军 ( 陕西省标准化研究院 , 陕西 西安 710048） 摘要：本文从大数据的概念和核心思想入手，思考大数据的内涵和孕育的思想，试图从大数据的视角形成相应的认知与思 维方式。 关键词：大数据认知；智能化；大数据预测 1 大数据概念与特点 "大数据"（Big data）以多元形式，源自多领域、 多行业、不同层次，甚至不同的应用。大数据是需要新处 理模式才能具有更强的决策力、洞察发现力和流程优化能 力的海量、高增长率和多样化的信息资产。应用大数据的 意义在于通过挖掘和加工实现数据的增值服务。 想要认知大数据，可从以下几个方面从总体上有一个 概括性的了解。一是我们必须清楚它的来源。大数据的来 源众多，可以源自多领域、多行业、不同层次，甚至不同 的应用。如大数据可以来自互联网、*、企业和个人等 方面。二是大数据构成。结构化、半结构化和非结构化数 据构成了大数据集，非结构化数据成为组成大数据的主要 部分。三是数据量庞大。是海量数据，从 TB 级别，跃升到 PB 级别。四是增长快。由于大数据的来源众多，其数据量 的增长要比传统快的多。五是关联性复杂。庞大的数据集 中隐藏着非常复杂的关联，数据之间彼此的相关性呈现出 多种关系。 六是应用价值高。 从大数据的基本特征可以看出， 需要发现并解析大数据的价值所在，并洞悉大数据的发展 趋势。在当以今云计算为代表的技术创新下，这些原本看 起来很难收集和应用的数据开始容易被利用起来，预示着 大数据会逐步为人类创造更多的价值。以上是我们对大数 据的一个基本认知。 从大数据概念中可以看出大数据具有的几个基本特征， 业界将其归纳为 4 个"V"——Volume（大量），海量数 据。Velocity（高速），处理速度快，一般要在秒级时间 范围内给出处理结果，这个速度要求是大数据处理和传统 的数据处理最大的区别。Variety（多样），数据来源复杂， 数据类型繁多。如文档、视频、图片、地理位置信息等等。 Veracity（真实性），大数据是客观的。数据分析的结果 具有客观和真实性。 技术是大数据处理和价值体现的手段， 分别从云计算、 分布式处理技术、存储技术和感知技术的应用来说明大数 据从采集、处理、存储到形成结果的整个过程。实践是大 数据的最终价值的应用。 2 大数据核心思想 有许多学科都经历了信息爆炸的时代，譬如天文学， 随之应运而生的就是"大数据"这个概念。如今，这个概 念几乎应用到了所有人类致力于发展的领域中。大数据标 志着人类在寻求量化和认识世界的道路上前进了一大步， 过去难于计量、存储、分析和共享的很多事物都被数据化 了，拥有大量且不一定非常精确的数据为我们观察和理解 世界打开了一扇新的大门，所以说以数据为核心的时代出 现了。我们基本上可以从三个维度来理解大数据及其价值。 首先从横向来看反映的是事物之间的联系，多重的关联向 我们展现出了以前不曾有过且丰富多彩的数据世界，事物 之间的相关和联系能够更加客观真实地增强我们的认知， 使我们对事物认识更加的深刻和全面，再看纵向呈现的是 事物之间的变化及其趋势。动态的变化使我们能够通过数 据观察到事物的状态，其变化则能进一步把握发展的方向， 和预测未来变化的趋势。那么从局部和整体看，由于大数 据具体而全面，能够客观地反映事物的整体，使我们能够 全面掌握事物的真实状态，以便客观地观察和把握事物的 现状。因此，由此可见大数据与传统数据不同，并为我们 展现出很高的应用价值。 从体量巨大、结构繁多的海量数据中，快速获得有价 值信息的能力，就是大数据技术。云计算在存储和计算上 都体现了数据为核心的理念。云计算为大数据提供了有力 的工具和途径，大数据为云计算提供了可有效利用的数据 资源。 2.1 客观反映整体 以前在传统数据时代，由于没有全数据，只能用局部 数据来反映整体，力求用最少的样本数据得到最为精准的 结论。 事实上从真实和客观性上来讲， 这是具有一定偏差的。 如我们常用统计学方法，通过抽样和一定的概率运算得到 的结果来预估全局和整体，并不完全客观与真实。如今， 随着云计算的发展，我们的数据处理能力有了很大的提高， 技术不再成为限制。我们的数据总量相比以前有了很大程 度的增加，而且这个总量在未来会越来越多，即样本会无 限接近于总体 . 用全数据代替随机样本，是为了能将影响结 果的所有可能性都都涵盖进去，为的不是精准，而是全面、 客观和真实。 但是，统计抽样我们还会做，在某些特定的领域，我 们依然会使用样本分析法，譬如，市场监管系统每年都要 进行质量抽检。具体做法是针对不同的产品类型制定不同 的抽检方案。在方案中要明确抽检的方法，批次和数量等， 检验完成后，依据检验的结果来判定整体产品