文件名称：大数据专题.doc
文件大小：111KB
文件格式：DOC
更新时间：2022-12-24 11:51:29
文档资料
理论·政策·产业 大数据专题 大数据专题讲座体会 陕西日报2014年2月11日 赵正永：大力推进信息化发展，对于调整经济结构、转变发展方式、保障和改善民生意 义重大。尽管目前我省的信息化还存在一些问题，但我们要发挥科教大省的资源和人才 优势，逐年增加信息化发展专项资金，出台更加有力的政策措施，努力推进我省信息化 建设走在西部的前列，走进全国的前列。 娄勤俭：我省是中国的集散中心，在扩大信息流、资金流和物流结合发展方面有区域优 势，为大数据基础设施建设提供很好地保证。同时我省是一个欠发达省份，要充分认识 到大数据在人事保障、医疗保障等社会管理中既花钱少又能满足服务的作用，整合资源 、节省投资、快速响应服务，依靠大星通信运营企业提供的服务来推动我省信息服务建 设。 编者按随着技术创新和行业需求的推动，大数据产业和市场已步入快车道。我国"十二五 "规划以将大数据作为建设重点，各级*也着手建立大数据库，进入了大数据管理时代 。目前，我国已成为全球IT巨头布局大数据战略的重要集聚地。我省网络基础优势，科 教实力雄厚，拥有发展大数据产业的多重优势。但是，我们也是清楚看到，眼下大数据 应用还处于初期发展阶段，面临不少观念和技术等优势。本期周末讲座邀请到西北工业 大学计算机学院周兴社教授，想大家讲解大数据及其应用发展，并针对我省发展大数据 产业提出相应建议。 专家讲义摘要 早在19801年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热 情地赞颂为"第三次浪潮的华彩乐章"。不过从2009年开始，"大数据"才真正的走入了大 众的视野。大数据是建立在数据分析、处理、服务技术快速提升和海量数据快速积累基 础上的。随着IT技术快速发展和网络应用日益深化，正在积累起前所未有的海量数据， 例如淘宝网站、交通图像、微信服务、电子病历以及物联网等新兴服务应用正每日产生 PB级数据；我们每天打电话、发短信、刷卡也在不断产生海量的大数据。著名的咨询机 构IDC（国际数据公司）预测，在未来几年中，大数据和分析市场将获得快速发展，人类 正在快速步入大数据（BigData）时代。 一、大数据具有自身特点 1、大数据概念 依据全球著名管理咨询公司麦肯锡给出的定义，所谓大数据是指无法在一定时间内 用传统软件工具对其内容进行采集、存储、管理和分析的数据集合。而大数据技术是从 海量复杂数据中获得信息所需要的软件、硬件及其读物技术。 大数据特点 目前，学界和业界关于大数据特点，归纳总结为"4V"，即Volume（大体量）、Vari ety(多样性)、Velocity(快变化)和Valve(含价值)。 、Volume:PB级数据成为常态；当然，"大"具有相对性，并非必须是PB级数据量，其与领 域相关，不同领域数据规模会有较大差异。 Variety:大数据的类型具有多样性，例如，文本、表格、图像、视频等数据形式均可能 同时存在。 Velocity:数据快速动态变化，例如交通数据、装备运行状态数据等时刻处在变化之中， 对此需要高效快速处理方法。 Valve:价值隐藏在海量数据之中，往往价值密度很低，如平安城市PB级视频记录数据， 面对特定事件，需经历大量分析处理才能体现出其价值。 3、创新大数据技术 大数据处理的理念、"4V"特点以及处理方式均确定了传统的数据处理方式及其软件 硬件实现，也要创新大数据应用模式。从技术研究角度来讲，在不损失价值前提下，以 提高数据质量、减少数据规模为目标的大数据整理技术，以提炼价值为目标的大数据关 联分析与深度挖掘技术以及以快速高效为目标的大数据新型计算方式，如大规模数据流 实时分析、可扩展统计分级、数据并行处理与增量处理以及异质数数据混合计算等。 大数据带来思维和管理模式变革 大数据发展，不断产生思维方式的变革和创新。大数据直接分析PB级数据，不再依 赖于随机采样；大数据处理不再过分追求个体数据的精确性，预测成为重点；大数据处 理不再过分关注因果，更加重视数据集合的相关性。 同时，多个领域的初步应用案例说明，大数据时代在技术进步的同时，也会引起商 业变革和管理创新。在社会服务领域，大数据正在快速推动*社会管理模式的创新， 提升公众服务能力；在生产、制造、服务等领域，大数据推动运行效率的提升，实现经 济内涵式增长；在科学研究领域，大数据促进多学科进步以及新型数据科学发展，产生 以数据集计算为核心的新兴科学研究模式创新。 国际国内高度关注大数据发展 大数据研究与应用及其产业形态已引起国际上*、学术界以及企业界的高度关注 。美国2012年启动国家大数据研究计划，数据科学逐步演变为新兴的独立学科，数据工 程师正在成为新型的IT职业。在企业界，IBM通过汇聚专家、并购公司、申报专利、发布 平台，力求成为大数据和分析领域的全球领导者；GE公