2.2 VSAN的要求
在开始启用VSAN之前,我们强烈建议vSphere管理员首先验证一下环境是否满足了所有的前提条件和要求。下面的列表中我们还增加了一些从基础架构的角度来增强弹性的建议:
标准数据中心部署时至少3台ESXi主机;用于远程办公室或分支办公室的小型部署时,至少2台ESXi主机和一台见证主机
每台ESXi主机至少6GB内存
VMware vCenter Server
至少一个容量层设备。对于给VSAN数据存储提供存储的主机而言,混合配置至少一块磁盘,全闪存配置至少一块闪存设备
至少一个缓存层设备。对于给VSAN数据存储提供存储的主机而言,无论是混合配置还是全闪存配置,都需要至少一块闪存设备
一个启动设备用于安装ESXi
至少一个磁盘控制器。推荐直通模式或JBOD模式的磁盘控制器
用于VSAN VMkernel的专用网络端口,推荐万兆以太网,但是对于小型混合配置来说千兆以太网也是支持的。若使用万兆以太网络,网络适配器无需专用于VSAN流量,可以和其他类型的流量(例如管理流量或vMotion流量等)共用
VSAN网络必须支持L2或L3组播
2.2.1 VMware硬件兼容性指南
在开始安装配置ESXi之前,建议先根据VMware官方的VSAN兼容性指南来验证一下硬件配置。VSAN兼容性指南可以在下面的网站找到:
http://vmwa.re/vsanhcl
VSAN 6.0的发布带来了一款新的健康检查工具,它除了可以检查VSAN群集的状态之外还有一些其他特性,其中之一就是可以根据VMware的兼容性指南来验证VSAN群集的磁盘控制器硬件是否受支持。管理员可以下载一个文件,其中包含最新版本的硬件、驱动程序、固件版本以及健康检查工具,用它来检验配置是否正确。
VSAN对磁盘、闪存设备和磁盘控制器有严格的要求。因为选择众多,配置一台完美的VSAN主机可能是一件复杂的事情。在逐个讨论这些组件之前,你应该知道还有另外一个选择:VSAN Ready Nodes。
2.2.2 VSAN Ready Nodes
较之自行选择组件,VSAN Ready Nodes是一个很棒的替代方案。采用Ready Nodes也是搭建一套VSAN的推荐做法。很多厂商帮你做好了功课,创建了这些叫做VSAN Ready Nodes的硬件组合。这些VSAN Ready Nodes由经过测试和认证的硬件组成,在我们看来,它们可以提供额外的保证。VSAN Ready Nodes也已经列在兼容性指南列表中了,如图2-1所示。
对于那类更具有冒险精神的管理员,或者那些偏好某个未在VSAN Ready Nodes兼容指南中列出的品牌或厂商的管理员,就必须关注各个组件(例如存储控制器和磁盘驱动器)的兼容性。下面几节将重点探讨这些需要考虑的因素。
2.2.3 存储控制器
每台加入VSAN群集的ESXi主机都需要一个磁盘控制器。这个磁盘控制器最好具有通常称为直通模式(Pass-through mode)、HBA模式或者JBOD模式的功能。换而言之,磁盘控制器应该能够直接控制底层作为独立驱动器的磁盘或固态硬盘(SSD),而无须经过其上的RAID层。于是,ESXi的操作就可以无须被控制器截取并解释,而直接对磁盘进行。为虚拟机定义策略属性(诸如可用性和性能属性)时,VSAN会负责磁盘的RAID配置。在VSAN兼容性指南中列出了已经成功通过测试的磁盘控制器。
在配置新服务器的时候,每家服务器厂商都有很多不同的磁盘控制器可供选择。兼容性列表列出一些最常见服务器品牌使用的控制器以及一些常被诸如SuperMicro和Quanta之类品牌使用的通用LSI磁盘控制器。在VSAN兼容性指南中列出了超过70种不同型号的磁盘控制器,就硬件配置来说提供了无数种可选组合。
在某些场景下,硬件可能已购置完毕或者可用的磁盘控制器不支持直通模式。换句话说,控制器背后的设备并不能直接被ESXi主机所认出。在另外一些场景下,管理员必须把每个独立的磁盘驱动器都设置成RAID-0之后才能被ESXi主机识别出来(不过这首先需要确保它对控制器来说是有效配置)。再强调一次,兼容性指南会列出一款控制器是否支持直通模式或RAID-0模式,或者两者都支持,在配置磁盘控制器之前请确保已经核对过兼容性指南。此外请注意兼容性指南还为每一款独立的磁盘控制器列出了受支持的固件和驱动程序,请核实它们的版本,如有需要请在部署虚拟机之前进行升级。
1.?磁盘控制器RAID-0
对于不支持直通/HBA/JBOD模式的磁盘控制器,VSAN支持通过RAID-0配置的磁盘驱动器。RAID-0的卷如果在配置中只包含1个磁盘驱动器,就可以被VSAN使用。这对磁盘和SSD都是一样的。这个操作可以通过磁盘控制器的软件或固件来实现。管理员必须了解,当SSD使用了RAID-0配置时,往往就不会被VSAN认作一个闪存设备,因为此时其闪存的特性被RAID-0设置屏蔽了。如果这种情况发生了,你必须标注这个磁盘驱动器为闪存设备。这可以通过vSphere Web客户端来实现。如图2-2所示,只要选中所需设备,点击相应的磁盘图标按钮就可以把一个设备在SSD和磁盘(HDD)之间进行相互转换。
还有一个例子来说明如何解决另一种设备识别的问题——如何标注一个设备为本地(local)。在某些环境中,一些ESXi主机本地的设备会被认作为共享卷,这是因为某些SAS控制器允许被多个主机同时访问。在这种情况下,尽管设备是本地的(local),但是它们会被显示为共享的而非本地的(not local)。
如果你想将一个设备标注为闪存(Flash)设备,或是将一个设备标准成本地(Local)设备,自VSAN 6.0起,这也可以通过vSphere Web客户端来进行了,如图2-2所示。根据设备的类型及其目前的标注,菜单和显示出来的图标会相应发生变化。注意,只有在相应的许可证**已经输入之后,这个功能才能被使用。
当使用RAID-0而不是直通模式的时候,必须考虑某些操作上的不同。当使用直通模式时,驱动器在大多数情况下都会被直接识别出来,无须将其配置成“本地”(local)或“固态硬盘”(SSD)。而使用RAID-0时,驱动器会绑定在某个RAID-0配置上,这意味着驱动器和RAID-0配置是一一对应的。如果这个驱动器出现故障且需要更换一个新的,那么这个一一对应的关系就会被打破,新的驱动器替换上来的时候就必须重新手动建立一个新的RAID-0配置来与之对应。而且不同的RAID控制器配置方式各不相同,就会产生额外的工作量。而采用直通模式时,只需要简单地移除并插入新磁盘即可。不过,根据RAID控制器的不同,可能需要厂商的定制工具来“**”此设备。事实上,新的RAID-0卷可能还是必须被创建出来才能允许VSAN使用换上来的设备。
2.?性能和RAID缓存
VMware已经对各种不同类型的磁盘控制器和RAID控制器进行了很多性能测试。大多数情况下,直通模式和RAID-0配置之间的性能差异可以忽略不计。VMware VSAN兼容性指南就每个控制器列出了哪些功能必须被启用或禁用。
当使用RAID-0配置的时候,应该禁用存储控制器的写缓存,让VSAN获得全部的控制权。当RAID-0配置中的存储控制器写缓存无法被完全禁用的时候,应该将存储控制器的缓存配置成100%用于读缓存,这也是一种有效地禁用写缓存的方法。主要是因为VSAN具有其自己的缓存机制,我们希望保证给客户机操作系统的磁盘输入输出(IO)可以存放在持久性存储(写缓存)中,而不是存放在VSAN无法控制的磁盘控制器的缓存中。
2.2.4 容量层设备
每一台加入VSAN群集并为VSAN数据存储提供存储的ESXi主机都必须至少拥有一个容量设备。额外的容量设备显然可以提供更多容量,并可能提升性能,因为虚拟机存储对象可以被条带化并分散到多个设备上去。此外,更多数量的容量设备可以提供更多容量均衡选择。当一块磁盘用到80%容量的时候,VSAN会自动地将其上的组件移动到该主机的其他磁盘上或其他主机上的磁盘上,以避免此磁盘耗尽容量。
加入全闪存VSAN配置的ESXi主机会将闪存设备用于容量层。
每个容量层设备都会成为一个磁盘组(disk group)的一部分。每台VSAN主机最多可以具有5个磁盘组,每个磁盘组可以包含最多7个容量设备,因此最多可达35个容量设备,如图2-3所示。
从7200 RPM的SATA驱动器到15K RPM的SAS驱动器,VSAN支持各种类型的磁盘(都列出在兼容性指南中)。尽管虚拟机存储I/O性能大部分是由缓存层的闪存提供的,还是有必要指出任何来自容量层的I/O操作是和容量设备提供的性能直接相关联的。一块7200转的SATA磁盘的性能当然和高性能闪存不同,但是根据硬件厂商的不同,价格通常也相差很多。第9章将提供多个例子来描述选择磁盘设备的影响,并会介绍一个全闪存配置的例子。
2.2.5 缓存层设备
给VSAN群集提供容量时,无论是混合配置还是全闪存配置每台ESXi主机必须至少拥有一个闪存设备。混合配置中的闪存设备被VSAN同时用于读缓冲和写缓存。在全闪存配置中,闪存设备只用作写缓存,不过其耐用性往往比用于容量层的闪存设备要高得多。在全闪存配置中无须配置读缓存,因为从同为闪存的容量层设备读取,性能已然是极快的。
这个闪存设备位于一组容量设备的前端。每个磁盘组都需要一个闪存设备。VSAN中每个主机最多可以有5个磁盘组,因此每台主机最多可以有5个闪存设备。一台主机中的闪存容量越大,提供的性能就越高,因为更多的I/O可以被缓冲/缓存。
为了得到最佳的VSAN性能,请选择高性能指标的闪存设备。VMware支持多种类型的闪存,范围从SSD到PCIe闪存设备都支持。VMware已在其VSAN兼容性指南中发布了一个受支持的PCIe闪存设备、SSD和NVM设备的清单。在购买新设备之前,请先查询VMware兼容性指南以确保自己的配置是受支持的。
下面列出的是VMware兼容性指南中闪存设备的分级:
Class A:每秒写入2500~5000次(已从兼容性指南中移除)
Class B:每秒写入5000~10?000次
Class C:每秒写入10?000~20?000次
Class D:每秒写入20?000~30?000次
Class E:每秒写入30?000~100?000次
Class F:每秒写入100?000+次
有个问题常会被提起:“能否使用消费级别的SSD?这样VSAN能工作吗?”从技术角度来看,使用消费级别的SSD,VSAN也可以完美地工作。然而,大多数消费级别的SSD的使用寿命较短,耐用性保证较低,而且性能差异较大(往往性能较差),而且还会有不可预料的延迟波动,范围从毫秒到秒级,这就是为什么Class A(的闪存)被从兼容性指南中移除的主要原因。尽管从价格角度来看,消费级别的SSD可能颇具吸引力,但是我们想强调VSAN无论是在读还是写操作上都非常倚重闪存来进行缓冲和缓存,当(闪存)驱动器出现故障的时候会影响到SDD绑定的整个磁盘组。闪存设备故障时,整个磁盘组都会被标注为不健全的。因此我们在兼容性指南中加入了第2个重要的表格——闪存设备耐久等级:
Class A:>= 365TBW
Class B:>= 1825TBW
Class C:>= 3650TBW
Class D:>= 7300TBW
在这里,等级越高设备就越可靠,其平均寿命也越长。如果你不知TBW是什么意思,让我们来告诉你:TBW指的是“Terabytes写入”,就是该设备保证可以持久写入的数量。
在调研了各种各样的SSD和PCIe的闪存设备之后,我们觉得要从中推荐一个品牌或某一种类型的闪存是不可能的。选择的决策应该根据预算的限制、服务器平台的厂商服务,以及最为重要的运行在VSAN上的虚拟机上的应用程序的需要这些因素综合决定。