云计算基础知识
OSI七层模型
MAC/物理地址
MAC(Media Access Contro)地址,或称为MAC地址、物理地址,用来表示互联网上每一个站点的标识符,采用十六进制数表示,共六个字节(48位)。其中,前三个学是由IEEE的注册管理机构RA负责给不同厂家分配的代码(高位24位),也称为编制上唯一的标识符”( Organizationally Unique Identifier),后三个字节(低位24位)由各厂家自行指派给生产的适配器接口,称为扩展标识符(唯一性)。一个地址块可以生成2^24个不同的地址。MAC地址实际上就是适配器地址或适配器标识符。通常情况下不变的,可以基于mac地址做限速,黑名单等策略。
二层交换
学习
1.交换机学习接收的数据帧的源MAC地址形成MAC地址表广播
1.如果目标地址在MAC地址表中没有,则向除接收该数据帧的端口外的其他端- 广播该数据帧转发
1.交换机根据MAC地址表转发数据帧更新
1.MAC地址表有老化时间
2.如果一个帧的入端口和MAC地址表中记录不一致,则将MAC学习到新端口
二层交换的过程
交换机二层转发特性,符合802.1D网桥协议标准。交换机的二层转发涉及到两个关键的线程:地址学习线程和报文转发线程。
地址学习线程:
交换机接收网段上的所有数据帧,利用接收数据帧中的源MAC地址来建立MAC地址表,表项主要有MAC,PORT、老化时间和VLAN。
端口移动机制:交换机如果发现—个报文的入端口和报文中源MAC地址的所在端口不同,就产生端口移动,将MAC地址重新学习到新端口。
地址老化机制:如果交换机在一定时间之内没有收到某台主机发出的报文,则该主机对应的MAC地址就会被删除,等下次报文来的时候重新学习。
注意:老化也是根据源MAC地址进行老化,每一个MAC地址有一个老化时间;在老化时间内,每当交换机收到从该MAC主机发的报文,老化时间就重置
报文转发线程:
交换机在MAC地址表中查找数据帧中的目的MAC地址,如果找到,就将该数据帧发送到相应的端口,如果找不到,执行第3步;
如果交换机收到的报文中源MAC地址和目的MAC地址所在的端口相同,则丢弃该报文。
交换机在本VLAN内向入端口以外的其它所有端口转发该报文。
三层交换
正常情况下
Vlan的基本概念
虚拟局域网将一组位于不同物理网段上的用户在逻辑上划分成一个局域网,在功能和操作上与传统LAN基本相同,可以提供一定范围内终端系统的互联。VLAN与传统的LAN相比,具有以下优势:
减少移动和改变的代价:即动态管理网络,当用户从一个位置移动到另一个位置时,他的网络属性不需要重新配置,而是动态的完成,这种动态管理网络给网络管理者和使用者都带来了极大的好处,一个用户,无论他到哪里,他都能不做仼何修改地接入网络,这种前景是非常美好的。当然,并不是所有的VLAN定义方法都能做到这一点;
虚拟工作组:使用LAN的最终目标就是建立虛拟工作组模型。例如,在企业网络中,同一个部门的用户就好象在同一个LAN上一样,很容易的互相访问、交流信息,同时,所有的广播包也都限制在该VLAN上,而不影响其他LAN的人。用户从一个办公地点换到另外—个地点,他仍然在该部门,那么,该用户的配置无须改变;同时,如果用户办公地点没有变,但他更换了部门,那么,网络管理员只需更改一下该用户的配置即可。这个功能的目标就是建立一个动态的组织环境,当然,这只是一个理想的目标,要实现它,还需要一些其他方面的支持;
-
用户不受物理设备的限制:VLAN用户可以处于网络中的任何地方,VLAN对用户的应用不产生影响。VLAN的应用解决了许多大型二层交换网络产生的问题:
限制广播包,提高带宽的利用率:有效地解决了广播风暴带来的性能下降问题。一个VLAN形成一个小的广播域,同一个VLAN成员都在其所属VLAN确定的广播域内,那么,当—个数据包没有路由时,交换机只会将此数据包发送到所有属于该ⅥLAN的其他端口,而不是所有的交换机的端口,这样,就将数据包限制到了一个VLAN内。在一定程度上可以节省带宽;
增强通讯的安全性:一个VLAN的数据包不会发送到另一个VLAN,其他VLAN的用户是收不到该VLAN的数据包,这样就确保了该VLAN的信息不会被其他VLAN的用户窃听,从而实现了信息的保密;
增强网络的健壮性:当网络规模增大时,部分网络出现问题往往会影响整个网络,引入VLAN之后,可以将网络故障限制在一个VLAN之内。
由于VLAN是逻辑上对网络进行划分,组网方案灵活,配置管理简单,降低了管理维护的成本。
什么是AD
目前AD已成为 Windows Server中成熟的目录服务组件,它处理了在组织中的网络对象,对象可以是用户,组群,电脑,网域控制站,邮件,设置档,组织单元,树系等等。
活动目录 Active Directory)主要提供以下功能:
基础网络服务:包括DNS、WNS、DHCP、证书服务等
服务器及客户端计算机管理:管理服务器及客户端计算机账户,所有服务器及客户端计算机加入域管理并实施组策略。
用户服务:管理用户域账户、用户信息、企业通讯录(与电子邮件系统集成)、用户组管理、用户身份认证、用户授权管理等,缺省实施组管理策略。资源管理:管理打印机、文件共享服务等网络资源。
桌面配置:系统管理员可以集中的配置各种桌面配置策略,如:界面功能的限制、应用程序执行特征限制、网络连接限制、安全配置限制等。
应用系统支撑:支持财务、人事、电子邮件、企业信息门户、办公自动化、补丁管理、防病毒系统等各种应用系统。
存储的分类
- 存储系统
- 封闭系统存储(基于大型机)
- 开放系统的存储(基于 Windows,Unix,Linux的服务器)
- 内置存储
- 外挂存储(依连接方式分)
- 直接式存储( Directed- Attached Storage:DAS):采用SCSI接口,带宽限制,扩容时要停机。
- 网络存储( Fabric-Attached Storage:FAS):(依传输协议分)
- 网络接入存储( Network- Attached Storage:NAS):采用TCP/IP连接
- 存储区域存储( Storage Area Network:SAN):采用光纤连接
RAID技术
RAID的全称是独立磁盘冗余数组(RAID, Redundant Array of Independent Disks),简称硬盘阵列。
RAID岀现的最初目的是将多个容量较小的亷价硬盘合并成为—个大容量的逻辑盘"或磁盘阵列,实现提高硬盘容量和性能的功能。随着RAID技术的逐渐
普及应用,RAID技术的各方面得到了很大的发展。
- RAID技术主要有三个特点
- 通过对硬盘上的数据进行条带化,实现对数据成块存取,减少了硬盘的机械寻道时间,提高数据存取速度。
- 通过对一阵列中的几块硬盘同时读取,减少硬盘的机械寻道时间,提高数据存取速度。
- 通过镜像或者存储奇偶校验信息的方式,实现对数据的冗余保护。
Tips:不同的RA|D级别有不同的目标取向,而非技术水平高低。
RAID 0实现方式
RAID 0又称为 Stripe或 Striping,它代表了所有RAID级别中最高的存储性能。RAID 0使用条带”( striping)技术把数据分布到各个磁盘上,在那里每个条带被分散到连续“块"上RAID 0至少使用两个磁盘驱动器,并将数据分成从512字节到数兆字节(一般是512Byte的整数倍)的若干块,这些数据块可以并行写到不同的磁盘中。第1块数据被写到驱动器1中,第2块数据被写到驱动器2中,如此类推,当系统到达阵列中的最后一个磁盘时,就重新回到驱动器1的下—分段进行写操作,分割数据将I/O负载平均分配到所有的驱动器。
RAID 0数据写入
RAID 0的数据写入是以条带形式将数据均匀分布到RAID组的各个硬盘中。RAID 0的数据是按照条带进行写入的,即一个条带的所有分块写满后,再开始在下一个条带上进行数据写入如上图,现在有数据D0,D1,D2,D3,D4,D5需要在RAID 0中进行写入,首先将第—个数据D0写入第一块硬盘位于第一个条带的块,将第二个数据D1写入第二块硬盘位于第一个条带的块,至此,第—个条带的各个块写满了数据,当有数据D2需要写入时,就要对下—个条带进行写入,将数据D2写入第一块硬盘位于第二个条带的块中...数据块D3,D4,D5的写入同理。写满一个条带的所有块再开始在下一个条带中进行写入。
RAID 0数据读取
RAID 0在收到数据读取指令后,就会在各个硬盘中进行搜索,看需要读取的数据块位于哪一个硬盘上,再依次对需要读取的数据进行读取。如上图,现在收到读取数据D0,D1,D2,D3,D4,D5的指令,首先从第—块磁盘读取数据块υ0,再从第二块磁盘读取数据块D1..对各个数据块,从磁盘阵列读取后再由RAID控制器进行整合,传送给系统,至此,整个读取过程结束。
- 同一条带上的数据块可以实现并行读取。
RAID 0数据丢失
由于RAID 0只是将数据按一定方式组织起来,而没有在各个磁盘的数据块之间提供数据安全性保护,所以一旦阵列中某一个驱动器发生故障,整个阵列将失效。
RAID 1的工作原理
RAID 1也被称为镜像,其目的是为了打造出—个安全性极高的存储系统。RAID 1使用两组相同的磁盘系统互作镜像,速度没有提高,但是允许单个磁盘故障,数据可靠性最高。其原理为主硬盘上存放数据的同时也在镜像硬盘上写—一样的数据。当主硬盘(物理)损坏时,镜像硬盘则代替主硬盘的工作。因为有镜像硬盘做数据备份,所以RAID 1的数据安全性在所有的RAID级别上来说是最好的。
RAID 1数据写入
RAID 1在进行数据写入的时候,并不是像RAID 0那样将数据划分为条带存储,而是将数据写入两个磁盘,这两个磁盘上的数据完全相同,互为镜像。这两个磁盘写满后,再写入后面的两个磁盘,总之,总是有两个磁盘互为镜像,存储的内容完全相同。如上图,需要将数据块D0,D1,D2写入RAD1,先在两个磁盘上同时写入数据块D0,再在两个磁盘上同时写入数据块。
RAID 1数据读取
RAID 1在进行数据读取的时候,正常情况下可以实现数据盘和镜像盘同时读取数据,提高读取性能。如果一个磁盘损坏,则IO自动到存活的盘读取数据。
RAID 1数据恢复
RAID 1的两组磁盘是互为镜像的,两组磁盘的内容完全相同,这样,任何一组磁盘中的数据出现问题,都可以从另一组磁盘进行镜像恢复。如上图,磁盘1损坏导致数据丢失,我们需要将故障磁盘用正常磁盘替换,再读取磁盘2的数据,将其复制到磁盘1上,从而实现了数据的恢复。
RAID 5的工作原理
RAID 5是一种旋转奇偶校验独立存取的阵列方式,它与RAID 3不同的是没有固定的校验盘,而是按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上,所以在每块硬盘上,既有数据信息也有校验信息。这一改变解决了争用校验盘的问题,使得在同一组内并发进行多个写操作。所以RAID 5即适用于大数据量的操作,也适用于各种事务处理,它是一种快速、大容量和容错分布合理的磁盘阵列。当有N块阵列盘时,用户空间为N-1块盘容量。RAID 3、RAID 5中,在一块硬盘发生故障后,RAID组从ONLINE变为 DEGRAIDED方式,但I/O读写不受影响,直到故障盘恢复。但如果在 DEGRAIDED状态下,又有第二块盘故障,整个RAID组的数据将丢失。
RAID 5数据写入
RAID 5的数据写入也是按条带进行的,各个磁盘上既存储数据块,又存储校验信息。一个条带上的数据块写入完成后,将产生的校验信息写入剩余的磁盘驱动器中。
RAID 5数据读取
由于RAID 5的数据是按照数据块分布式存储的,所以在读取的过程中只要找到相应的驱动器,将所需数据块读出即可。
RAID 5数据恢复
RAID 5的数据恢复也是一个根据同一条带上正常磁盘数据块和校验信息的异或运算而得到原有的数据的过程。
RAID 10
RAID 10集RAID 0和RAID 1的优点于一身,适合应用在速度和容错要求都比较高的场合。先进行镜像,再进行条带化。物理磁盘1和物理磁盘2组成RAID 1,物理磁盘3和物理磁盘4组成RAID 1,两个RAID 1再进行RAID 0。
当不同RAID 1中的磁盘,如物理磁盘2和物理磁盘4发生故障导致数据失效时,整个阵列的数据读取不会受到影响,因为物理磁盘1和物理磁盘3上面已经保存了一份完整的数据。但是如果组成RAID 1的磁盘(如物理磁盘1和物理磁盘2)同时故障,数据将不能正常读取。
常用RAID级别的比较
RAID组成员盘个数不建议过多,例如超过20块成员盘的RAID,不但性能比8-9块成员盘RAID组(建议RAID 5成员盘个数)低,且在运行过程中RAID组失效的概率增加。
DAS
存储设备(RAID系统、磁带机和磁带库、光盘库)直接连接到服务器
特点:传统的、最常见的连接方式,容易理解、规划和实施。
缺点是:DAS没有独立操作系统,也不能提供跨平台的文件共享,各平台下数据需分别储存;各DAS系统之间没有连接,数据只能分散管理;备份软件不能离开服务器支持;DAS的前期投资比较少。
SAN
SAN英文全称:Storage Area Network,既存储区域网络。它是一种通过光纤集线器、光线路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。多个SAN之间无法互通。
主要分控制器和资源两部分
SAN使用的典型协议组是SCSI和Fiber Channel(SCSI-FCP)。Fiber Channel特别适合这项应用,原因在于方面它可以传输大块数据这点类似于SCSI),另一方面它能够实现远距离传输这点又与SCSI不同)。因此,可以把SAN看成是对SCSI协议在长距离应用上的扩展。
SAN是一种高可用性,高性能的专用存储网络,用于安全的连接服务器和存储设备并具备灵活性和可扩展性;SAN对于数据库环境、数据备份和恢复存在巨大的优势;SAN是一种非常安全的,快速传输、存储、保护、共享和恢复数据的方法。
SAN是独立出—个数据存储网络,网络内部的数据传输率很快,但操作系统仍停留在服努器端,用户不直接访问SAN的网络;SAN关注磁盘、磁带以及连接它们的可靠的基础结构;
SAN根据其传输介质的不同又可以细分为FC-SAN和IP-SAN。
NAS
NAS本身装有独立的OS,通过网络协议可以实现完全跨平台共享,支持 Windows、 Linux、Unix等系统共亨同—存储分区;NAS可以实现集中数据管理;一般集成本地备份软件,可以实现无服务器备份功能;NAS系统的前期投入相对较高。
NAS是在RAID的基础上增加了存储操作系统;NAS内每个应用服务器通过网络共享协议(如:NFS、CIFS)使用同一个文件管理系统;NAS关注应用、用户和文件以及它们共享的数据上数据;磁盘IO会占用业务网络带宽。
由于局域网在技术上得以广泛实施,在多个文件服务器之间实现了互联,因此可以采用局域网加工作站族的方法为实现文件共享而建立一个统一的框架,达到互操作性和节约成本的目的。
DAS/SAN/NAS存储模型的比较
直连式存储(DAS)依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。将存储器从应用服务器中分离出来,进行集中管理。这就是所说的存储网络(StorageNetworks)。又采取了两种不同的实现手段,NAS(NetworkAttachedStorage)网络接入存储和SAN(StorageAreaNetworks)存储区域网络。
JBOD代表Just a Bunch of Drives,磁盘控制器把每个物理磁盘看作独立的磁盘,因此每个磁盘都是独立的逻辑盘。JBOD也不提供数据冗余。
SAN和NAS的区别
NAS和SAN最本质的不同就是文件管理系统在哪里,SAN结构中,文件管理系统(FS)还是分别在每一个应用服务器上;而NAS则是每个应用服务器通过网络共享协议(如:NFS、CIFS)使用同一个文件管理系统。换句话说:NAS和SAN存储系统的区别是NAS有自己的文件系统管理。
NAS是将目光集中在应用、用户和文件以及它们共享的数据上。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS加SAN。