SAN技术及应用

传统存储的结构与缺点

存储网络集中常见的类型：

图：存储网络常见的类型

DAS基础概念：

DAS技术是最早被采用的存储技术，如同PC机的结构，是把外部的数据存储设备都直接挂在服务器内部的总线上，数据存储设备是服务器结构一部分，但由于这种存储技术是把设备直接挂在服务器上，随着需求的不断增大，越来越多的设备添加到网络环境中，导致服务器和存储独立数量较多，资源利用率低下，使得数据共享受到严重的限制。因此适用在一些小型网络应用中。

DAS存储更多的依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源（包括CPU、系统IO等），数据流需要回流主机再到服务器连接着的磁带机（库），数据备份通常占用服务器主机资源20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。

直连式存储与服务器主机之间的连接通道通常采用SCSI连接，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。

　无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的群集(Cluster)，或存储阵列容量的扩展，都会造成业务系统的停机，从而给企业带来经济损失，对于银行、电信、传媒等行业7×24小时服务的关键业务系统，这是不可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往受原设备厂商限制。

DAS的结构与缺点：

图：DAS的结构

开放系统的直连式存储(Direct-Attached Storage，简称DAS)

DAS的优点：

1、部署简单 2、成本低 3、适合本地数据存储

DAS存储缺点

• 扩展性差
• 资源浪费
• 管理分散
• 异构化问题
• 数据备份问题

DAS采用的连接协议：

• ATA（IDE）和SATA
• SCSI（又分为并行和串行，并行适合内部DAS，串行适合外部DAS）
• FC

SAN存储基本结构

SAN存储定义及组网：

SAN：存储区域网络（Storage Area Networks）是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统。

图：SAN的三种组网方式

如上图，SAN有三种组网方式，分别为：

1. 直连组网
2. 单交换组网
3. 双交换组网

SAN组件介绍：

• 存储阵列设备
• 光纤交换机
• 主机总线设配卡
• 光纤线缆

图：SAN组件

SAN存储特点：

1. 业务高性能
2. 集中、远程、灵活的管理
3. 存储资源动态共享
4. 不占用业务网络资源
5. 高扩展性
6. 兼容SCSI存储设备

SAN与DAS区别：

项目	DAS	SAN
支持的协议	SCSI协议	FC协议、ISCSI协议
适合场景	对存储容量要求不高、服务器数量很少的中小型局域网	关键数据库、集中存储、海量存储、备份、容灾等中高端存储应用环境
特点	部署简单、投资少	高可用性、高性能、高扩展性、兼容性、集中管理
缺点	可扩展性差、资源浪费、不易管理、性能瓶颈	投资相对较高

FC-SAN存储：

FC协议介绍：

FC（Fibre Channel）协议简介：

FC是由美国标准化委员会（ANSI）的X3T11小组于1988年提出的高速串行传输总线，解决了并行总线SCSI遇到的技术瓶颈，并在同一大的协议平台框架下可以映射更多FC-4上层协议，最早是用来提高硬盘协议的传输带宽，侧重于数据的快速、高效、可靠传输。
FC协议其实并不能翻译成光纤协议，只是FC协议普遍采用光纤作为传输线缆而不是铜缆，因此很多人把FC称为光纤通道协议。在逻辑上，我们可以将FC看作是一种用于构造高性能信息传输的、双向的、点对点的串行数据通道。在物理上，FC是一到多对应的点对点的互连链路，每条链路终结于一个端口或转发器。FC的链路介质可以是光纤、双绞线或同轴电缆。

FC拓扑结构：

图：FC拓扑结构

各种拓扑的对比:

协议栈：

图：FC协议栈

FC光纤通道拥有自己的协议层，它们是：

• FC-0：连接物理介质的界面、电缆等；定义编码和解码的标准。l　　
• FC-1：传输协议层或数据链接层，编码或解码信号。l　　
• FC-2：网络层，光纤通道的核心, 定义了帧、流控制、和服务质量等。l　　
• FC-3：定义了常用服务，如数据加密和压缩。l　　
• FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协 议，HBA卡的驱动提供了FC-4 的接口函数。FC-4 支持多协议，如：FCP-SCSI，FC-IP，FC-VI。

光纤通道的主要部分实际上是FC-2。其中从FC-0到FC-2被称为FC-PH，也就是“物理层”。光纤通道主要通过FC-2来进行传输，因此，光纤通道也常被成为“二层协议”或者“类以太网协议”。

FC-SAN系统组成:

图：FC-SAN系统组成

存储设备：

存储设备上的FC接口模块提供了应用服务器与存储系统的业务接口，用于接收应用服务器发出的数据交换命令。

光纤交换机：

光纤通道交换机在逻辑上是SAN的核心，它连接着主机和存储设备。

光纤交换机的主要功能如下：

自配置端口、环路设备支持、交换机级联、自适应速度检测、可配置的缓冲、分区（基于物理端口和基于WWN的分区）、IP over Fiber Channel（IPFC）广播、远程登录、Web管理、简单网络管理协议（SNMP）以及SCSI接口独立设备服务（SES）等。

Zone概念：

• Zone是可进行互通的端口或设备的名称构成的集合
• 在一个zone里的设备只能与同一个zone中的其他设备通信
• 一个设备可以同时在多个zone里

图：光纤交换机–zone

光模块：

• 光通道交换机光模块由光电子器件、功能电路和光接口等组成。光电子器件包括发射和接收两部分。
• 按照速率分：以太网应用的100Base（百兆）、1000Base（千兆）、10GE SDH应用的155M、622M、2.5G、10G
• 按照封装分：1×9、SFF、SFP、GBIC、XENPAK、XFP
• 按照光纤的类型分：单模光纤连接器、多模光纤连接器
• 按照光纤连接器的连接头形式分：FC，SC，ST，LC，MU，MTRJ 等等
• 目前常用的有FC，SC，ST，LC。

图：光模块

FC HBA卡：

• HBA（Host Bus Adapter）：

  主机总线适配器，就是连接主机I/O总线和计算机内存系统的I/O适配器。

• 分类：

  FC HBA、SCSI HBA、SAS HBA、iSCSI HBA等。

• 用途：

  用于服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯

• WWNN（World Wide Node Name）全球唯一节点名字

• WWPN（World Wide Port Name）全球惟一端口名字

IP-SAN存储

IP-SAN基础：

• 什么是IP-SAN：

  以TCP/IP协议为底层传输协议，采用以太网作为承载介质构建起来的存储区域网络架构。

• 实现IP-SAN的典型协议是iSCSI，它定义了SCSI指令集在IP中传输的封装方式。

图：IP-SAN架构

IP-SAN优点：

• 接入标准化

  不需要专用的HBA卡和光纤交换机，普通的以太网卡和以太网交换机就可以存储和服务器的连接。

• 传输距离远

  理论上IP网络可达的地方就可以使用IP SAN，而IP网络是目前地球上应用最为广泛的网络。

• 可维护性好

  广大的具备IP网络技术的维护人员和强大的IP网络维护工具支撑。

• 带宽扩展方便

  随着10Gb以太网的迅速发展，IP SAN单端口带宽扩展到10Gb已经是发展的必然。

IP-SAN面临的挑战：

1. 数据安全性

   数据在传输过程的安全性和在存储设备中的安全性是IP SAN存储面临的严峻问题。

2. TCP负载

   TCP为了完成数据的排序工作需要占用较多的主机CPU资源导致用户业务处理延迟的增加

3. 块数据传输。

   IP协议比较适合传输大量的小块消息，对大块数据的传输的效率还有待提高。

FC-SAN与IP-SAN比较：

IP-SAN的组件：

图：IP-SAN的组件

iSCSI连接方式：

IP-SAN根据主机与存储的连接方式不同，可以分为三种：

1. 以太网卡+Initiator软件实现方式

   

2. TOE网卡+Initiator软件实现方式

1. iSCSI HBA卡连接方式

   

iSCSI协议：

iSCSI（Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输，基本出发点是利用成熟的IP网络技术来实现和延伸SAN。

图：iSCSI协议

iSCSI体系结构：

iSCSI节点将SCSI指令和数据封装成iSCSI包，然后该数据封装被传送给TCP/IP层，再由TCP/IP协议将iSCSI包封装成IP协议数据以适合在网络中传输。

iSCSI的发起端与目标端：

• 发起端（Initiator）

  SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSI

  iSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给target

• 目标器（Target）

  iSCSI层收到PDU，将CDB传给SCSI层

  SCSI层负责解释CDB的意义，必要时发送响应

图：iSCSI传输示意图

iSCSI数据包封装模型：

所有的SCSI命令都被封装成iSCSI协议数据单元，iSCSI利用TCP/IP协议栈中传输层的TCP协议为连接提供可靠的传输机制。

图：iSCSI报文格式

FC-SAN与IP-SAN融合

FC协议与TCP协议融合：

目前FC与TCP/IP协议的真正融合主要有两种趋势：

• TCP/IP网络承载FC信道

  FCIP

  iFCP

  FCOE

• 以FC信道承载TCP/IP数据

  IPFC

从现有的情况来看，以太网技术和FC技术都在飞速发展IP-SAN和FC-SAN会在很长的一段时间内都将是并存且互为补充的。

FCoE协议：

• FCoE（Fibre Channel over Ethernet）以太网光纤通道：FCoE允许在一根通信线缆上传输LAN和FC SAN通信，融合网络可以支持LAN和SAN数据类型，减少数据中心设备和线缆数量，同时降低供电和制冷负载，收敛成一个统一的网络后，需要支持的点也跟着减少了，有助于降低管理负担。
• FCoE把FC帧封装在以太网帧中，允许LAN和SAN的业务流量在同一个以太网中传送。

FCoE协议的封装：

FCoE是把FC-2层以上的内容封装到以太网报文中进行承载。

图：FCoE协议的封装

FCoE–CEE:

基于优先级的流量控制（PFC）+ 增强的传输选择（ETS） + 拥塞报告

• FCoE采用增强型以太网作为物理网络传输架构，能够提供标准的光纤通道有效内容载荷。
• 融合增强型以太网（CEE）可以避免类似TCP/IP协议的开销和数据包损失。