最全FC交换机基础知识详解

时间：2024-01-31 09:00:36

640?wx_fmt=jpeg

640?wx_fmt=gif

      谈起FC交换机，大家就会想到它是数据中心贵族的象征，也是保证核心业务性能和可靠性的技术基石，但近年来，随着数据中心软件定义，IP化潮流的推进，FC交换机的市场份额有所收缩，但截至目前为止，FC技术仍然占据数据中心核心业务的半壁*，今天详细聊聊FC交换机基础知识。

 

      博科是FC交换机领域的领导者，其交换机被不同存储和服务器厂商OEM，下图是主流存储厂商OEM详情对位标:

 

640?wx_fmt=png

 

      先从NPIV谈起，当物理主机上部署了虚拟机后，若采用原来的物理主机访问存储的方式，映射给主机的LUN是所有虚拟机可见的，安全性和可管理性都降低，同时也无法满足各个虚拟机自身直接访问存储。

640?wx_fmt=jpeg

  

      NPIV就是为了解决这一问题而产生的。NPIV是N_Port ID Virtualization，是一项虚拟化技术，ANSI标准。当主机端应用了NPIV后，主机可以在一个物理HBA卡上虚拟出多个虚拟HBA卡，每个虚拟机都分配一个自己的虚拟HBA卡，虚拟机通过虚拟HBA访问存储设备，每个虚拟机都只能看见自己的磁盘资源，不同虚拟机间的磁盘资源相互不可见。

 

交换机端口NPIV

 

      为了实现上述的功能，只有主机端支持NPIV还不够，交换机也要支持NPIV才可以。博科光纤交换机全部支持NPIV功能，各个交换机的端口的NPIV功能默认是开启的，可以通过如下的方式查看:

 

640?wx_fmt=png

      在命令回显里面，如果NPIV capability属性为“ON”则表明该端口已经开启了NPIV功能。如果为“OFF”则表明该端口关闭了NPIV。

 

Zone的概念和作用

 

       SAN网络中一个常用的概念叫做zone，zone在SAN网络中的作用和以太网络中的VLAN有些类似。Zone的主要作用就是把Fabric网络分区，避免不相关的设备之前相互访问，同时也具有安全的作用。在设备较多的Fabric网络中，务必要划分zone。

640?wx_fmt=jpeg

 

      一个zone由一组zone成员组成，一个设备可以是一个或多个zone的成员，如设备RAID4既是Zone2的成员也是Zone3的成员。同一个zone内的成员之间可以相互访问，不在同一个zone内的成员之间不可访问。如Zone1包括成员Web Server和RAID2，这两个设备之间可以相互访问。Fabric网络的zone配置有两层概念:

 

  • 第一层是zone，zone内的成员由连接到Fabric上的设备组成

  • 第二层是zone集合，它由一个或多个zone组成，在一个Fabric网络中，可以创建一个或多个zone集合，但同一时间只能有一个处于激活状态的zone集合。

 

640?wx_fmt=jpeg

 

Zone的种类

 

      博科交换机支持多种zone，常规zone和特殊zone。常规zone就是我们通常所说的zone，主要作用是隔离设备，把Fabric网络划分为多个分区；特殊zone有TI zone，QoS zone和LSAN zone。若非特殊说明，此处所提的zone全部是常规zone。常规zone按照所包含的成员类型不同，可以分为端口zone，WWN zone和混合zone。

 

      端口zone：zone的成员全部是交换机端口，每个端口由Domain ID和Port Index二元组唯一确定。这种zone的优点在于和交换机连接的设备更换后不用重新划分zone，但是设备更换和交换机连接的端口后需要重新划分zone，即端口zone是和位置相关的。如：zone01：（1,1；1,2；1,3）。

 

  • 优点：创建简单，易懂，适合用于连接设备不太多的SAN网络交换机

  • 缺点：设备更换到其他端口后无法和原来zone内的成员相互通信，和位置相关，在大型SAN网络中不方便管理。

 

      WWN Zone：zone的成员全部是设备的WWN，WWN可以是设备节点WWN，也可以是设备端口WWN（WWPN），常用的是以WWPN来创建zone。这种zone的优点在于设备更换和交换机连接的端口后后不用重新划分zone，但是设备端更换HBA后需要重新划分zone，即WWN zone是和设备相关的。如：zone02：(20:12:00:22:a1:09:8e:67;10:00:00:00:c9:d5:bd:2e)。

 

  • 优点：设备换插到交换机的其他端口后仍旧可以和原来的zone内的成员通信，不许要重新划分zone。

  • 缺点：相对于端口的方式，以WWN创建zone稍微复杂一些，需要弄清各个设备的WWN。设备端更换HBA或接口卡后，由于WWN发生了改变，需要重新划分zone

 

      混合zone的组成：zone的成员既包含交换机端口，也包含设备WWN。这种方式由于存在管理上的不便，同时设备之间通信时需要CPU的参与，可能会影响性能。所以规划zone时，尽量不要使用这种方式。如zone03：( 20: 12: 00 :22:a1:09:8e:55;1,4;15)。混合zone不是规范的zone，在实际应用中尽量不要按照这种方式创建zone。 

  

交换机长距离

 

  • 1、 L0:  端口为L0时为正常模式，该模式下交换机端口可以是F_Port、L_Port、E_Port。支持的设备的距离(2Gb最大5km，4Gb最大2km，8Gb最大1km)。

  • 2、 LE: 端口为LE模式时该端口只能配置为E_Port，用来连接其他交换机。该模式下交换机间的距离可达10km。

  • 3、 LD: LD模式为动态自适应模式，根据用户设定的距离以及系统检测到的实际距离，取二者的最小值分配buffer。该模式下可以支持超过10km的距离，最大支持距离取决于交换机所能分配的Buffer数量。

  • 4、 LS: LS为静态长距离模式，该模式和LD类似，都支持超过10km的距离.不同之处在于LS预留Buffer的方式和LD不同，LS只以用户定义的距离作为分配Buffer数量参考。

 

光纤线缆

 

      光纤作为一种传输介质在通信应用中占有非常重要的地位。光纤按照不同的角度可以分为不同的种类，如按照材料不同可以分为石英系光纤、多组分玻璃光纤、塑料包层石英芯光纤等；按照传输模式不同可以分为多模光纤和单模光纤；按照波长不同可以分为短波光纤和长波光纤。我们主要介绍一下多模光纤和单模光纤。

 

      多模光纤的纤芯直径为50或62.5μm，包层外径125μm，标示为50/125μm或62.5/125μm。多模光纤由于色散比较大，其传输距离有限。多模光纤的光源一般为发光二极管。

 

      比较常用的多模光纤有OM1、OM2和OM3，目前主流的是OM3。

 

640?wx_fmt=jpeg

 

      单模光纤的纤芯直径为8.3μm，包层外径125μm，标示为8.3/125μm。单模光纤中心玻璃芯很细(芯径一般为9或10μm)，只能传一种模式的光。因此，其模间色散很小，适用于远程通信。单模光纤的光源一般为固体激光器。

 

光模块

 

      多模光模块支持的传输距离近，一般在千米以内，适合园区级别的业务部署，单模光模块支持的距离远，可达几十千米，适合区域级别的业务部署。短波多模光模块搭配多模光纤支持的传输距离如下表所示：

 

640?wx_fmt=png

 

      光模块在不同速率下配套不同规格(OM1/OM2OM3)的光纤线，最大的传输距离是不一样的，如8G光模块搭配OM3多模光纤线，当速率为8G时，最远支持150m，当速率降为4G时，最远支持380m。

 

传输距离

 

      交换机端口速率有1/2/4/8/16Gbps之分，光模块有长波短波之分，光纤线有单模多模之分，那么它们和传输距离之间的关系是怎么样的呢。

 

      首先，相同速率下，单模光纤的传输距离比多模光纤的传输距离要远，长波光模块比短波光模块传输的距离要远。当然单模光纤线和多模光纤要配合对应光模块使用。

 

      其次，在配置确定的情况下，如8Gbps多模光模块配合多模光纤线，速率越低，传输距离越远。如前面提到的8Gbps光模块的最远传输距离规格是500m，指的是其运行在2Gbps速率且光纤线为OM3是所能达到的最远距离，在8Gbps速率时其最远只能传输150m。

 

      最后，还有一种情况，光模块、光纤线都可以支持到某个距离，如25km，但是实际带宽值可能连光模块支持的最低速率都达不到，为什么？这个就涉及到另外一个概念了，即Credit Buffer。

 

      在默认情况下，交换机的每个端口都分配一定数量的Buffer，当发送端向对端发送数据中帧时，每发送一个帧就会计一次数，当帧计数值等于其Buffer数量时，就不能继续发送了，必须等待对方的确认信息来重新获得发送能力。这就会产生一个问题，当设备间的距离非常远时，发送端可能很快用完了自己的Buffer，但是帧还在链路上没有到达接收端，发送端只能处于等待状态，这极大的浪费了带宽，从而出现了前面描述的问题。所以，Credit Buffer在远距离通信中也是必须注意和配置的一项。

 

      在实际的应用中，要结合实际应用场景选择对应的配置。如果选择不当，可能会导致性能低、链路不稳定甚至是设备间链路无法建立。

 

ISL链路聚合

 

      ISL链路聚合就是ISL Trunking，把两台交换机之间满足一定条件的多条物理路径合并成一条逻辑路径的技术。交换机配置Trunking后可以扩展链路的总的带宽和提高链路的可靠性。

 

      ISL方式级联的交换机间的多个路径要配置Trunking，要形成Trunking的几个端口必须是在同一个端口组里面。所有参与Trunking的端口的配置要相同，Trunking用的多个光纤线的长度差异不要超过30米，否则会引起性能下降，超过400米就无法形成Trunking。

 

      Trunking只在博科或同类厂商的设备上被支持，博科交换机和其他厂商的交换机无法形成trunking。有无Trunking时的的区别:

 

640?wx_fmt=png

无Trunking

 

      上图中两台交换机通过四条链路连接起来，在没有配置Trunking的情况下，各个ISL路径上的IO差异很大。一个主机的IO只会在同一条路径上下发，而这个路径上还可能有其他应用的IO，导致的结果就是一条路径的流量形成的拥塞的时候另一条却负载很低。

 

640?wx_fmt=png

有Trunking

 

      多个ISL路径形成Trunking时，这些物理路径就合并成了一个逻辑路径，带宽是多个路径的总和。当多个主机下发IO的时候，Trunking以帧为单位将流量合理的分配到了不同的路径上，使得所有路径都有机会参与数据传输。数据帧会优先在负载低的路径上下发。

 

端口类型

 

      端口是构建光纤网络的基本模块，在光纤通道网络中端口包括设备侧端口、交换机侧端口和配置端口。

 

      设备侧端口类型：设备侧端口主要指和交换机相连的终端设备的端口，端口类型包括N_Port和NL_Port。

 

  • N_Port：点对点模式的端口，设备直连模式端口。

  • NL_Port：仲裁环模式端口。

 

      交换机端口类型：交换机上的端口类型比较多，不同厂商支持的端口类型也不尽相同，下面列出博科光纤交换机支持的端口类型:

 

  • U_Port：通用端口模式。严格来说U_Port并不是一种端口模式，它只是端口空闲时的一个状态，等待端口连接设备后转变到最终的端口模式。

  • F_Port：Fabric端口模式，F_Port和N_Port可以建立连接。

  • FL_Port：Fabric环路端口模式，FL_Port和NL_Port可以建立连接。该端口类型在博科Condor3 ASIC平台上不再支持。

  • G_Port：Generic端口(G_Port和U_Port类似)，当端口模式显示为G_Port时并不是该端口的最终状态，它在待转变为最终的F_Port或E_Port模式。

  • E_Port：Expansion端口。用于和其它交换机建立互联的端口

  • D_Port：诊断端口，该模式的端口不能够接入到Fabric网络中，不能和其他设备通信，只用来作为诊断分析使用。博科交换机从Conder3 ASIC上才支持。

      配置端口类型：配置的端口模式是博科交换机上的一种端口模式，目前包括EX_Port、VE_Port、VEX_port几种类型。和上面几种交换机模式不同，这几种模式的用处较为特殊。

 

  • EX_Port：E_Port的一种特殊场景，用来连接FC Router。通过该模式连接2个不同的Fabric，可以使两个Fabric网络中的设备相互通信而无需合并ZONE配置。

  • VE_Port：虚拟E_Port，它用于FCIP网络中。

  • VEX_Port：虚拟EX_Port，功能上和EX_Port相同，只不过是用于IP网络。

 

设备端口工作模式

 

      端口连接设备后显示的端口模式有如下几种：

 

  • D_Port是诊断端口模式，用于分析本地端口和远端交换机端口之间的链路状态。运行时会显示远端交换机的WWN。

  • E_Port是级联模式。和其他交换机上的E_Port建立连接从而扩展Fabric网络。正常运行时会显示连接的交换机的WWN。

  • Ex_Port是路由端口模式。Ex_Port可以使不同交换机上的设备相互访问但又无需进行zone配置融合。运行时会显示远端交换机的WWN。

  • F_Port是点对点模式。交换机端口显示为F_Port时表示设备已经以点对点模式和交换机建立好了连接。运行时会显示连接的设备的WWN。

  • G_Port是点对点模式。和F_Port不同，G_Port不是一个正常工作时的状态，需要排查问题原因，如主机是否向交换机发送了Flogn，设备和交换机间的链路是否正常。可以尝试重新加载设备端驱动、更换光纤线等方法解决该问题，AIX环境下可以尝试删除主机逻辑HBA卡后重新扫描。

  • L_Port是仲裁环模式。连接的设备是NL_Port。运行时会显示连接的设备的WWN。

  • LE是长距离工作模式的一种，最大可以支持10km的距离。该端口只能用于连接交换机，不能连接主机或存储设备。

  • LD是动态自适应长距离工作模式。可以支持超过10km的距离。该端口只能用于连接交换机，不能连接主机或存储设备。

  • LS是静态长距离工作模式。可以支持超过10km的距离。该端口只能用于连接交换机，不能连接主机或存储设备。

 

Brocade交换机AG模式

 

      Brocade交换机的Access Gateway (AG)，是在交换机OS上实现的特性。把博科交换机设置为AG模式后，交换机将不再具备交换功能，即连接到这个交换机上的设备之间无法相互通信。

 

      AG模式下的交换机有两种类型的端口，F_Port和N_Port，F_Port用来连接主机、存储设备，N_Port用来连接交换机。AG模式的交换机相当于一个虚拟了多个虚拟HBA卡的物理HBA卡，AG交换机自身相当于物理HBA卡，而和其连接的主机、存储相当于虚拟HBA。

 

640?wx_fmt=jpeg

AG模式的交换机连接

      以AG模式的博科交换机和QLogic交换机做例子，业务配置核心是设置博科交换机的AG模式，QLogic交换机上只需要按照常规方式创建zone就可以了，不需要做额外的配置。如果现网中使用的是其他厂商的交换机而非QLogic交换机，如博科、思科，配置方式也是类似的，只需创建zone即可。

转自：https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/81714026