云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别。
为了更好地理解三者之间的紧密关系,下面将简要介绍云计算和物联网的概念,再分析云计算、大数据和物联网的区别与联系。
1. 云计算的概念
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本为目标的、动态可扩展的网络应用基础设施,是近年来最具有代表性的网络计算技术与模式。
云计算包括33种典型的服务模式,即IaaS(基础设施即服务)、PaaS(平台即服务)和SaaS(软件即服务)。IaaS将基础设施(计算资源和存储)作为服务出租,PaaS把平台作为服务出租,SaaS把软件作为服务出租。
2. 云计算的关键技术
云计算的关键技术包括虚拟化、分布式存储、分布式计算、多租户等。
2.1 虚拟化
虚拟化技术是云计算基础架构的基石,是指将一台计算机虚拟为多台逻辑计算机,在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。
虚拟化的资源可以是硬件(如服务器、磁盘和网络),也可以是软件。以服务器虚拟化为例,它将服务器物理资源抽象成逻辑资源,让一台服务器变成几台甚至上百台相互隔离的虚拟服务器,不再受限于物理上的界限,而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”,从而提高资源的利用率,简化系统管理,实现服务器整合,让IT对业务的变化更具适应力。
Hyper-V、VMware、KVM、Virtualbox、Xen、Qemu等都是非常典型的虚拟化技术。Hyper-V是微软的一款虚拟化产品,旨在为用户提供成本效益更高的虚拟化基础设施软件,从而为用户降低运作成本,提高硬件利用率,优化基础设施,提高服务器的可用性。VMware(威睿)是全球桌面到数据中心虚拟化解决方案的领导厂商。
近年来发展起来的容器技术(如Docker),是不同于VMware等传统虚拟化技术的一种新型轻量级虚拟化技术(也被称为“容器型虚拟化技术”)。与 VMware 等传统虚拟化技术相比,Docker 容器具有启动速度快、资源利用率高、性能开销小等优点,受到业界青睐,并得到了越来越广泛的应用。
2.2 分布式存储
面对“数据爆炸”的时代,集中式存储已经无法满足海量数据的存储需求,分布式存储应运而生。GFS(Google File System)是谷歌公司推出的一款分布式文件系统,可以满足大型、分布式、对大量数据进行访问的应用的需求。GFS具有很好的硬件容错性,可以把数据存储到成百上千台服务器上面,并在硬件出错的情况下尽量保证数据的完整性。GFS还支持GB或者TB级别超大文件的存储,一个大文件会被分成许多块,分散存储在由数百台机器组成的集群里。HDFS(Hadoop Distributed File System)是对GFS的开源实现,它采用了更加简单的“一次写入、多次读取”文件模型,文件一旦创建、写入并关闭了,之后就只能对它执行读取操作,而不能执行任何修改操作;同时,HDFS是基于Java实现的,具有强大的跨平台兼容性,只要是JDK支持的平台都可以兼容。
谷歌公司后来又以GFS为基础开发了分布式数据管理系统BigTable,它是一个稀疏、分布、持续多维度的排序映射数组,适合于非结构化数据存储的数据库,具有高可靠性、高性能、可伸缩等特点,可在廉价PC服务器上搭建起大规模存储集群。HBase是针对BigTable的开源实现。
2.3 分布式计算
面对海量的数据,传统的单指令单数据流顺序执行的方式已经无法满足快速数据处理的要求;同时,我们也不能寄希望于通过硬件性能的不断提升来满足这种需求,因为晶体管电路已经逐渐接近其物理上的性能极限,摩尔定律已经开始慢慢失效,CPU处理能力再也不会每隔 18个月翻一番。
在这样的大背景下,谷歌公司提出了并行编程模型MapReduce,让任何人都可以在短时间内迅速获得海量计算能力,它允许开发者在不具备并行开发经验的前提下也能够开发出分布式的并行程序,并让其同时运行在数百台机器上,在短时间内完成海量数据的计算。MapReduce将复杂的、运行于大规模集群上的并行计算过程抽象为两个函数——Map和Reduce,并把一个大数据集切分成多个小的数据集,分布到不同的机器上进行并行处理,极大提高了数据处理速度,可以有效满足许多应用对海量数据的批量处理需求。Hadoop开源实现了MapReduce编程框架,被广泛应用于分布式计算。
2.4 多租户
多租户技术目的在于使大量用户能够共享同一堆栈的软硬件资源,每个用户按需使用资源,能够对软件服务进行客户化配置,而不影响其他用户的使用。多租户技术的核心包括数据隔离、客户化配置、架构扩展和性能定制。
3. 云计算数据中心
云计算数据中心是一整套复杂的设施,包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。数据中心是云计算的重要载体,为云计算提供计算、存储、带宽等各种硬件资源,为各种平台和应用提供运行支撑环境。
谷歌、微软、IBM、惠普、戴尔等国际IT巨头,纷纷投入巨资在全球范围内大量修建数据中心,旨在掌握云计算发展的主导权。我国*和企业也都在加大力度建设云计算数据中心。内蒙古提出了“西数东输”发展战略,即把本地的数据中心通过网络提供给其他省份用户使用。福建省泉州市安溪县的中国国际信息技术(福建)产业园的数据中心,是福建省重点建设的两大数据中心之一,由惠普公司承建,拥有5 000台刀片服务器,是亚洲规模最大的云渲染平台。阿里巴巴集团公司在甘肃玉门建设的数据中心,是我国第一个绿色环保的数据中心,电力全部来自于风力发电,用祁连山融化的雪水冷却数据中心产生的热量。贵州被公认为我国南方最适合建设数据中心的地方,目前,中国移动、联通、电信三大运营商都将南方数据中心建在贵州。2015年,整个贵州省的服务器规模为20余万台,未来规划建设服务器规模200万台。
4. 云计算的应用
云计算在电子政务、医疗、卫生、教育、企业等领域的应用不断深化,对提高*服务水平、促进产业转型升级和培育发展新兴产业等都起到了关键的作用。
政务云上可以部署公共安全管理、容灾备份、城市管理、应急管理、智能交通、社会保障等应用,通过集约化建设、管理和运行,可以实现信息资源整合和政务资源共享,推动政务管理创新,加快向服务型*转型。
教育云可以有效整合幼儿教育、中小学教育、高等教育以及继续教育等优质教育资源,逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。
中小企业云能够让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统,大大降低企业信息化门槛,迅速提升企业信息化水平,增强企业市场竞争力。
医疗云可以推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享,并形成一套全新的医疗健康服务系统,从而有效地提高医疗保健的质量。
5. 云计算产业
云计算产业作为战略性新兴产业,近些年得到了迅速发展,形成了成熟的产业链结构,产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)、终端设备、云安全、云计算交付/咨询/认证等环节。
硬件与设备制造环节包括了绝大部分传统硬件制造商,这些厂商都已经在某种形式上支持虚拟化和云计算,主要包括Intel、AMD、Cisco、SUN等。基础设施运营环节包括数据中心运营商、网络运营商、移动通信运营商等。
软件与解决方案供应商主要以虚拟化管理软件为主,包括IBM、微软、思杰、SUN、Redhat等。IaaS将基础设施(计算和存储等资源)作为服务出租,向客户出售服务器、存储和网络设备、带宽等基础设施资源,厂商主要包括Amazon、Rackspace、Gogrid、Gridplayer等。
PaaS把平台(包括应用设计、应用开发、应用测试、应用托管等)作为服务出租,厂商主要包括谷歌、微软、新浪、阿里巴巴等。
SaaS则把软件作为服务出租,向用户提供各种应用,厂商主要包括 Salesforce、谷歌等。
云安全旨在为各类云用户提供高可信的安全保障,厂商主要包括IBM、OpenStack等。云计算交付/咨询/认证环节包括了三大交付以及咨询认证服务商,这些服务商已经支持绝大多数形式的云计算咨询及认证服务,主要包括IBM、微软、Oracle、思杰等。
参考文献:《大数据原理与应用》