文件名称：对大数据的认识.doc
文件大小：36KB
文件格式：DOC
更新时间：2022-12-24 15:44:19
文档资料
对于大数据的认识和理解 这学期选修了网络工程这门课程,当时是抱着扫盲的态度选的这门课程,给自己定的目 标不高，只需要对一些基础的概念和网络结构有些认识就可以，以免以后在人前谈论的 时候不至于成为IT文盲，被一些专业性的技术人员所吓倒。事实证明，态度决定一切,由 于自己刚开始设定的目标就比较低，所以注定能够上升到的水平也就不高。 经过这几周的学习，对计算机网络的基础知识和大致结构有了一个粗浅的认识.由于 学生本身这方面的基础不扎实，知识结构在这方面比较薄弱，所以不能在技术方面进行 深入的研究,只能对一些理论性的知识做一些了解和认识，建立起大概的知识框架.在学 习过程中,魏忠老师所提及的知识中有一点印象最为深刻，关于大数据Big Data方面的提及引起了我很大的兴趣，越是自己私下里做了一些阅读和查询(主要是维克 托·迈尔- 舍恩伯格的《大数据时代》和网络上查看的一些资料）。最后提交的这篇课程总结就着重 报告一下自己在阅读了他人关于大数据的一些理论后自身的认识. 在这之前，我发现身边很多人都提起过大数据，其中包括老师和同学.可是对于这些 热门的新技术、新趋势人们往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什 么关系?估计很少同学能说出一二三来。究其原因,一是因为大家对新技术有着相同的原 始渴求，至少知其然在聊天时不会显得很"无知"，因为现在人们普遍都有以一种信息焦 虑感，别人知道的东西我不知道，就会感到焦虑，无论这些信息对你有没有用；二是在 工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间 去知其所以然。当然我也一样,虽然我希望能有些不一样，但是自己实在欠缺IT这方面的 知识，所以也只能查阅一些资料,翻阅了最新的专业书籍，在自己局限的认识下把这些些 零散的资料碎片或不同理解论述综合起来做一个类似于文献综述的报告,其实我很真诚的 希望进入事物探寻本质。下面就从理论、技术、实践这三个层面写一下大数据的认识 大数据的一些相关理论: 最早提出大数据时代到来的是麦肯锡："数据，已经渗透到当今每一个行业和业务职 能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增 长和消费者盈余浪潮的到来." 业界（IBM 最早定义）将大数据的特征归纳为4个"V"（量Volume，多样Variety，价值Value，速Ve locity)，或者说特点有四个层面:第一，数据体量巨大.大数据的起始计量单位至少是P （1000个T）、E（100万个T）或Z（10亿个T）;第二，数据类型繁多.比如，网络日志、 视频、图片、地理位置信息等等。第三，价值密度低,商业价值高。第四，处理速度快。 最后这一点也是和传统的数据挖掘技术有着本质的不同。 很早就流传着一句话:三分技术，七分数据,得数据者得天下。先不论这句话是谁说得 ,但是这句话的正确性已经不用去论证了。维克托·迈尔—舍恩伯格在《大数据时代》一书中 举了很多例证，都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去 发掘大数据的潜在价值。书中，作者提及最多的是Google如何利用人们的搜索记录挖掘 数据二次利用价值，比如预测某地流感爆发的趋势；Amazon如何利用用户的购买和浏览 历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Fare cast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合 适。这里维克托·迈尔—舍恩伯格所认为的大数据思维是:1需要全部数据样本而不是抽样 ；2关注效率而不是精确度；3关注相关性而不是因果关系. 大数据是什么？投资者眼里是金光闪闪的两个字：资产。比如，Facebook上市时,评 估机构评定的有效资产中大部分都是其社交网站上的数据。如果把大数据比作一种产业 ，那么这种产业实现盈利的关键,在于提高对数据的"加工能力",通过"加工"实现数据的 "增值"。 大数据的一些相关技术： 1)云技术： 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向 数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机 的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的:把计算能力作为一种像水和电一 样的公用事业提供给用户。如今,在Google、Amazon、Facebook等一批互联网企业引领下 ,一种行之有效的模式出现了:云计算提供基础架构平台，大数据应用运行在这个平台上 。 业内是这么形容两者的关系：没有大数据的信息积淀,则云计算的计算能力再强大,也 难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富,也终究只是镜 花水月。 那么大数据到底需要哪些云计算技术呢? 这里暂且列举一些，比如虚拟化技术,分布式处理技术，海量数据