SAN技术白皮书.doc

SAN技术白皮书1.SAN存储区域网介绍41.2 目前的现状及对SAN的需求41.2 SAN的特点51.3 SAN的几种主要形式72. SAN设备互连112.1什么是光纤通道网（Fabric）112.2 Fabric和AL是如何连接的132.3 什么是Stealth模式?153. RAID磁盘阵列193.1 RAID级的意义193.2 磁盘阵列的术语243.3 磁盘阵列的分类294. SAN中的硬件设备和工具304.1 HBA (主机总线适配器)304.2 Hub（集线器）304.3 Switching Hub（交换集线器）314.4 Fabric Switch（网络交换器）324.5 FC-SCSI Bridge（FC-SCSI网桥）324.6 Connector连接器类型334.7 GBIC （千兆位接口转换器）334.8 MIA(介质接口适配器)354.9 Fiber和Copper354.10 RAID（磁盘阵列）364.11 Tape Library（带库）375. SAN中的管理软件385.1 SAN中的管理软件385.2 存储资源管理软件385.3 RAID管理软件396. SAN的典型应用407. 设计SAN时应考虑的问题427.1 根据应用需要来规划SAN437.2 设备之间的距离确定采用的电缆类型437.3 SAN中设备数量及是否有SCSI设备457.4 预期达到的目标和最大流量467.5 网络安全性和冗余（备份）467.6 SAN管理及灾难恢复487.7 性能价格比498. SAN设计案例508.1 SAN在数据库各份中的应用508.2 SAN用于集群系统共享存储设备518.3 SAN提供跨平台数据共享521.SAN存储区域网介绍1.2 目前的现状及对SAN的需求现在的计算机网络系统，基本都是以服务器为中心的处理模式，存储设备（包括磁盘阵列，磁带库，光盘库等）作为服务器的外设使用，例如我们经常见到这样的典型应用：在一个计算机网络系统中，有三个服务器，其中一个NT服务器（NT指的是计算机操作系统的核心），一个SUN Solaris（SolarisSolaris 是Sun Microsystems研发的计算机 操作系统。它被认为是UNIX操作系统的衍生版本之一。）服务器，一个HP UX服务器（HP-UX就是HP公司自己开发的适合自己的服务器产品的UNIX。），分别带有各自的存储设备，其结构如图1-1所示。SCSISCSISCSI图1-1 以前的服务器/存储器互连结构 从图中看到，NT服务器，SUN服务器，HP服务器各带一个磁盘阵列，磁带库安装在HP服务器上，当服务器之间交换数据或向磁带库备份时，都是通过局域网（LAN）进行，特别是当NT服务器和SUN服务器向磁带库备份时，将占用大量的网络开销，严重影响网络的性能。传统的存储设备一般都是SCSI接口，其带宽在40MB/s左右，传输较慢。这样，针对目前的网络环境，下列的需求变得越来越迫切： 能够共享的大容量、高速度存储设备。 不占用LAN资源的大量数据传输和备份。 通过上面的分析，一个概念呼之欲出：网络存储。这种网络不同于传统的局域网和广域网，它是将所有的存储设备连接在一起构成存储网络. 目前技术的发展已为我们提供了可能,光纤通道（Fibre Channel）的存储设备(千兆速度的存取),光纤通道的Switch等设备的出现将存储领域推向了网络化的新阶段。诞生了存储区域网（Storage Area Network）。 SAN以光纤通道（FC）为基础,实现了存储设备的共享; 突破现有的距离限制和容量限制;服务器通过存储网络直接同存储设备交换数据,释放了宝贵的LAN资源。1.2 SAN的特点（1）大容量存储设备数据共享 在目前的计算机应用中，要求的存储量越来越大。如数据库中存储了大量的图片文件，网络服务中存储了多个用户的多种数据，视频制作中有大量的声音和图像文件等等都需要数百个GB甚至几个TB的磁盘存储容量。SAN提供了大容量存储设备共享的解决方案。（2）高速计算机要求高速存储设备通道 计算机主频每年都要翻一倍，内存容量和存储设备容量也在不断提高。这就要求存储设备的传输速度必须适应计算机整体性能。光纤通道正是为了打破这一瓶颈提出来的。SAN采用光纤网，不但提供了主机和存储设备之间Gigabit/s的高速互连，而且在设备数量（可达数十个）和传输距离上（可达10千米）有较大的提高。对于基于Client/Server或Internet/Intrannet结构的大容量数据的频繁访问及快速处理，奠定了完备的物理基础。（3）灵活的存储设备配置要求 主机和存储设备的分离是当今计算机发展的一大趋势。这主要是由于存储容量的不断扩大，存储设备已不再是某个计算机的外设，而是很多计算机的共享设备。采用SAN技术传输距离可达10千米。通过FC-AL的Hub（HUB是一个多端口的转发器,当以HUB为中心设备时,网络中某条线路产生了故障,并不影响其它线路的工作。）和Switch SWITCH是交换机，它的前身是网桥。交换机是使用硬件来完成以往网桥使用软件来完成过滤、学习和转发过程的任务。SWITCH速度比HUB快，这是由于HUB不知道目标地址在何处，发送数据到所有的端口。而SWITCH中有一张转发表，如果知道目标地址在何处，就把数据发送到指定地点，如果它不知道就发送到所有的端口。这样过滤可以帮助降低整个网络的数据传输量，提高效率。但然交换机的功能还不止如此，它可以把网络拆解成网络分支、分割网络数据流，隔离分支中发生的故障，这样就可以减少每个网络分支的数据信息流量而使每个网络更有效，提高整个网络效率。目前有使用SWITCH代替HUB的趋势。可以建立星型连接。在SAN上的设备、主机、存储设备和磁带设备，不但在物理位置安排上十分灵活，而且可以将不同用途的设备划分为不同的区，分别建立虚拟专用网。使得主机访问SAN上的存储设备十分方便。（4）快速数据备份 数据备份对于大型存储设备是非常必要的，由于重要的数据都在存储设备中，数据的丢失会造成不可估量的损失。所以在数据库等的应用中，进行数据备份是必要的日常维护工作。传统的数据备份有两种方式，一种数据备份是通过数据镜像的方法，将一个存储设备通过LAN/WAN镜像到另一个存储设备，在一个存储设备上的数据修改要及时传输到另一个存储设备上。极大地增加了LAN的负担。另一种数据备份是通过磁带，备份时占用了大量的LAN资源，而且需要进行多个小时才能完成。存储量越大备份的时间就越长。SAN提供了理想的快速备份工具，如果两个存储设备（如一台磁盘阵列，一台磁带库）都在SAN上，进行数据备份式镜像十分理想，可以不占用LAN/WAN的带宽，直接通过SAN存储网络进行备份。如果进行磁带备份，还可以将要备份的设备隔离开来，不受其它设备干扰。完全实现LAN free Backup。（5）兼容以前的存储设备 新建立的SAN不但可以连接光纤通道设备，而且可以连接SCSI设备。有两种类型的Bridge可以完成FC到SCSI的变换。主机模式的FC-SCSI Bridge可以将计算机通过SCSI接口连接到光纤通道SAN上。存储模式的FC-SCSI Bridge可以将SCSI存储设备，如外接磁盘，磁盘阵列和磁带机及带库连接到光纤通道SAN上。这样保护了用户以前的投资。（6）数据的高可靠性和安全性 数据的可靠性和安全性，在当前的应用中显得十分重要。存储设备中的单点故障可能引起巨大的经济损失。在以前的SCSI设备中，SCSI的损坏可能引起多个存储设备失效。在SAN中可以采用双环的方式，建立存储设备和计算机之间的多条通路。提高了数据的可用性。建立虚拟专用网络可以提高数据的可靠性和安全性；同时在SAN中也可以通过建立双机容错，多机集群，实现RAID校验等方式进一步保证数据的安全性和作业的连续性。1.3 SAN的几种主要形式 SAN主要包括以下几种连接方式：点对点（Point to Point），仲裁环（Arbitrated Loop），和交换网（Switch Fabric）。（1）点对点的SAN 点对点的SAN是在两个设备间的简单的专用连接，一般用于一台服务器和一台存储设备。这种连接适用于极小的服务器/存储设备的配置。一般情况下，点对点连接不使用可以在设备间传输一组光纤通道（FC）协议的集线器（Hub），而是直接通过介质（铜缆或是光纤）从一个设备连接到另一个设备。见图1-2所示。图4-2 点对点的SAN点对点连接是SAN的一种特殊形式，也是一种最简单的结构。两个节点之间传输速度可达千兆，不需要额外的软件支持。由于传输介质是独享的，甚至不需要专用的协议来协调设备间的操作。可以保证最大的传输率和可靠性。 如果有多个设备需要连接在一起，如两台服务器，三个磁盘阵列，需要对点对点连接方案进行扩展。由于多个设备的引入，介质不再是受两个节点设备控制的独享介质，而是多个设备的共享介质，所以必须使用某种协议来进行协调。（2）仲裁环（FC-AL）-星形连接的SAN SAN的基本形式是光纤通道仲裁环FC_AL（Fibre Channel Arbitrated Loop），它是一个具有千兆位传输速率的可共享介质，它可以连接多达127个节点，每个节点也可以连接到交换网(switched fabric)上。 仲裁环(AL)类似于令牌环或FDDI，在该环(Loop)中通信的两个节点只在数据交换的时候共享介质，然后将控制权交给其它节点。仲裁环(AL)上的节点通过使用一组光纤通道(FC)命令子集来控制跟环(Loop)的对话，并且使用特殊的序列来给节点分配仲裁环口地址（AL_PA）。在节点之间，仲裁环(AL)很原始地将收发接口连接起来，这些节点组成了一个可扩展的环形拓扑结构，类似于早期的令牌环。但是，这种连接方式不可避免地要面对在点对点LAN拓扑结构中所面对的同样的问题。在点对点链上的任意一点的损坏将使整个网络瘫痪，并且在环形结构中很难排除这种故障。由于对一个节点来说，从另一个节点来的线，通过该节点到第三个节点，所以环形布线对于分布在不同位置的节点来说是比较麻烦的。如同在LAN中的集线器（Hub）一样，通过仲裁环集线器(Hub), 将仲裁环的网口集中起来,实现了仲裁环(Loop)的星型连接。 典型的仲裁环集线器提供7-12个网口，并可通过级联建立大型仲裁环Loop。就像在以太网和令牌网中所使用的集线器一样，仲裁环集线器(Hub)提供更大的灵活性,可管理性和可靠性。仲裁环集线器(Hub)在每个口上使用了旁路电路，以便隔离损坏的节点，避免了损坏的节点干扰整个仲裁环（Loop）的数据通信。 一些集线器(Hub)在每一个口上提供了状态和诊断指示灯（LED），并且提供了复杂的环（Loop）的完整性及SNMP管理。仲裁环（AL Loop）在其节点之间共享千兆光纤通道速率。为确保速度和可靠性，一般在一个环（Loop）上应保持10个节点以下。图4-3给出了一个用集线器连接起来的仲裁环。 图1-3 星型连接的SAN（3）交换网（Switch Fabric）-网状连接的SAN 一个复杂的SAN可以是由多个光纤通道交换器Switch，Hub和Bridge互连起来的网络（Fabric）。Fabric switch是一个具有交换功能的，网口和网口之间并行进行千兆传输的控制器。它类似于LAN中使用的Switch。 一个典型的光纤通道交换器（FC switch）提供8-16个网口，并且每个网口是完全的千兆位速度。同以前用的以太网交换器（Ethernet switch）建立的模式相仿，一个光纤通道交换器（FC switch）的网口可以支持一个单个节点或多个节点的共享环。由于一个交换器（switch）为了正确地路由每一个口信息帧，因此需要更强的处理能力，内存和微代码。多个交换器连接起来形成了一个大交换网（fabric）。如图1-4所示在127个仲裁环节点地址中，一个地址被保留用于连接仲裁环到光纤通道交换器（FC switch）上。所以一个仲裁环（Loop）可以加入到一个更大的网中或是由多个交换器（switch）和仲裁环（Loop）建立的网（fabric）上。仲裁环集线器和交换器的结合在分配带宽和设计存储网络分区上提供很大灵活性。所谓存储网络分区，如同建立虚拟专用网络，在网口的基础上将一些网口和另一些网口分开，这样以来可以用一个交换器（switch），使得一个服务器共享一些资源，而另一个服务器共享另一些资源。同时也可以使两个服务器共享一些资源。而相互之间不受干扰。这一特点在大型存储网络使用中有很高的实用价值。图1-4 交换网（Switching Fabric）图1-5 交换集线器(Switching Hub) 光纤通道交换集线器（switching Hub）是一种能够提供仲裁环（AL）和网络交换的优点的变种技术。一个交换集线器通过管理一个或多个仲裁环分区（AL segment）的地址空间，来建立更大型的逻辑环（Loop）。这样允许在物理上分立的环（Loop）上节点可以透明地跟另一个节点通信，而保持了每一个环（Loop）上的高可用带宽。交换集线器优化和扩充了仲裁环的性能，以及价格优势。它还给出一些网络交换（switching）的优点。交换集线器（Hub）在多个物理仲裁环（AL）上提供了并行的千兆存取。2. SAN设备互连存储网络如同局域网（LAN）一样，主机连接到LAN需要有网卡，主机连接到SAN上通过主机内部的HBA；在LAN中网线可以是光纤或铜缆，在SAN中也可以用光纤或铜缆；在SAN中，设备可以用环形结构连接起来，可以用Hub建立星型连接，也可以通过多个Switch建立网状结构的SAN。从逻辑上来看，SAN是由一个或多个仲裁环（Arbitrated Loop）组成。仲裁环是共享介质并且在多个设备之间共享1Gigabit/s的带宽，是目前为止最普遍的存储网络结构。几乎所有的主机总线适配器（HBA）和光纤通道存储设备都支持专用仲裁环（non-fabric AL）结构，但支持一个网络（fabric）互连在一定程度上将增加的设备复杂性。实现存储网络化，可能将多个交换器（switch） 和仲裁环互连在一起，要求交换器（switch）能适应仲裁环设备，而并不要求仲裁环具有网络（fabric）连接功能。理想状态下，不但网络（fabric）而且仲裁环设备应能够共享一个交换器（switch）,并享用它的每个交换器网口1Gigabit/s的带宽，还可以在逻辑上将网口组织在一起用于高速传输。通过Stealth交换模式, 交换器（switch）可以完成这一功能。2.1什么是光纤通道网（Fabric）在光纤通道术语中，网络(fabric)是由交换器(switch)组成的网络拓扑结构。每个Switch网口提供1 Gigabit Gigabit是数据存储的单位，通常用符号Gbit或Gb表示。/s（2 Gigabit/s全双工）的带宽，所以从一个网口到另一个，或从一个switch到另一个switch的数据交换都具有1Gigabit/s的吞吐量。并且由于在每一个switch的网口之间可以同时传输，总传输能力可以达到数千兆位/秒。SAN正是在这种光纤通道网的基础上建立起来的。通过光纤通道网，将多个主机和存储设备互连在一起。虽然激烈的竞争，精心的设计和先进的制造技术正在使每个switch网口的造价下降，但是相对于其它的光纤通道(FC)拓扑结构来说，Fabric还是比较昂贵的。是否将fabric网口用到单个结点是由应用来决定的。音频/视频后期制作，数据采集，灾难恢复和磁带备份等应用,要求专用的高速连接来传输关键（mission-critical）数据, 而不受外来打扰。非数据密集型应用最好通过仲裁环集线器(AL hubs)将设备连接到主干网的switch网口上来实现。为了适应高带宽的应用，可以连接单个结点的switch网口被称做F_Port（Fabric Port）。F_Port提供合理使用switch的交换并优化吞吐量的特殊服务。一个连接到fabric的结点或称F_Node将进行一个到switch的登录,这是为了登记它在某个特定口上的存在。它的标识是一个24位地址，该地址和该结点唯一的64位WWN(World Wide Name)相关,并且成为该switch路由表的一部分。Switch也可以提供一个SNS(Simple Name Service)，该服务和提供服务的节点的硬件地址相关，例如:标识一个结点为RAID设备。如果不用SNS，为了找到在网络中的存储设备，主机必须在24位地址范围（16百万地址）内进行查询。在fabric中的switch提供SNS服务,要求端节点(HBA和磁盘阵列控制器)的设备驱动程序能够进行fabric登录。由于主机总线适配器(HBA)和磁盘被设计为适应专用仲裁环(AL),而不是公共网络fabric连接,在存储网络中，Switch一般提供了支持专用仲裁环(AL)连接的接口。图2-1示出了一个典型的SAN结构。图2-1 典型的光纤通道存储网（SAN）2.2 Fabric和AL是如何连接的一个支持仲裁环(AL)设备的交换器(switch)网口被称为一个FL_Port (Fabre Channel Arbitrated Loop Port)。对于仲裁环(AL)设备的识别符不同于一个网络(fabric)设备。其中24位的高位两个字节标识公共环(loop)地址，低字节表示设备的仲裁环(AL)口地址（AL_PA）。对于仲裁环(AL)设备，如果高位两个字节为非零，这个环(loop)设备是连接到网络(fabric)上的公共环(loop)节点。如果头两个字节为零，这个环(loop)设备是专用环(loop)节点并且正常情况下不能同switch的其他设备通信。Stealth模式允许专用环(loop)设备加入到有switch的设备中。16位环标识符 AL_PA23 8 7 0 图2-2 24位地址标识符 当仲裁环(AL)设备连接到一个switch口时，为了同网络(Fabric)中的其它资源通信，它要进行网络(fabric)登录。如果进行了登记，这个环(loop)是一个公共环(loop)，并且头两个字节被赋值为一个唯一的地址。Switch和网络(Fabric)中的其它节点靠它来识别这个环(loop)。如果没有登录，头两个字节为零，那么这个环(loop)是专用环。如果没有Stealth模式，专用环(loop)设备不能进行同网络(fabric)中的其它部分通信。连接FL_Port的主要优点是将单独的，高性能的节点（主要是主机和RAID）和共享loop段混合在同一个结构中。需要专用带宽的设备能够同在共享1Gigabit/s段上的资源进行通信。将设备分配给专用或共享的网口,提供了灵活地扩展存储网络化设计的选择，而且资源可以根据应用的要求变化来分布。在一些switch中，要求FL_Port具有不同的硬件和软件安装特性。由于单个switch网口在硬件上被限制为或是连接节点,或是连接环（loop），这样就可能限制设备的分布和带宽。目前已经有一些交换器（switch）产品可以随意连接仲裁环（AL）或专用网络（fabric）设备。2.3 什么是Stealth模式?由于支持专用仲裁环(AL)在今天存储网络(fabric)中是至关重要的,Stealth模式已经在一些switch产品中得到了应用。Stealth 模式的交换器(switch)允许专用，非fabric仲裁环(AL)设备连接到任意一个switch口上,并且可以同在这 个switch上的其他设备进行全速通信。为了同switch上的其他设备进行通信，仲裁环设备不需要进行fabric登录，所以能够适应非fabric的主机总线适配器（HBA）和磁盘阵列。这样不需要升级和替换现有的适配器或控制器就可将仲裁环（AL）产品引入到当今的fabric中。在Stealth模式中，switch对待所有的连接设备，无论它是单独占一个switch网口还是做为连接到仲裁环集线器（AL hub）上的一部分，好像它们是在一个大的逻辑AL上的一部分。不但直接连接的设备,而且专用仲裁环（AL）设备，在这个虚拟环（loop）配置中都得到了支持。 Stealth模式交换具有下列优点： 支持直接连接和loop设备连接 在一个fabric拓扑结构中，支持专用仲裁环（AL）主机和目标设备（盘，带） 多个1Gigabit/s段的带宽分配 可以连接大量的AL设备 限制loop初始化广播的策略 将引起初始化的设备和目标设备进行隔离，因而简化了设备分布与连接采用Stealth模式的优点是，由于连接的专用环（loop）设备不知道它们连接到了网络（fabric）上，所以它们可以利用已证明的，稳定的仲裁环（AL）协议在switch上进行初始化数据交换。对于环初始化（Loop Initialization Primitive 简称LIP），仲裁和帧传输，好像所有设备是共享1Gigabit/s传输的一部分。在实际中，Stealth模式交换处理是在口对口的基础上干涉环（loop）的处理，并且在多个1Gigabit/s段上交换数据。 图2-3 Stealth模式的switch 配置。 每个连到switch中主机和RAID具有1Gigabit/s的连接。对于典型的存储设备读写数据操作，一个8口交换器（switch）以Stealth模式进行操作能支持4个并行的仲裁环（AL）交换或是一个累计4Gigabit/s的吞吐量。更多的系统带宽和可扩展性靠级联switch来实现。在这个带宽上，允许网络设计者可以按应用的要求来分布仲裁环（AL）设备，而不存在共享介质仲裁环（AL）共享1Gigabit/s带宽所蕴含的限制。stealth模式交换使得专用高带宽的磁带设备成为可能，而在仲裁环（AL）中是不可能的。由于逻辑仲裁环（AL）实际上是由一些1Gigabit/s段所组成，Stealth模式支持了大型存储网络配置。单个仲裁环（AL）的地址空间适合126个节点，建立大型的物理环（loop）是不合理的。1Gigabit/s的总带宽由126个活动节点平分，对每个节点会产生不到1兆的吞吐量并且严重打击了实现仲裁环（AL）的目的。典型的仲裁环（AL）配有5-30个设备。使用Stealth模式的switch进行存储网络配置，在多个段上支持100多个节点是合理的并且克服了仲裁环的局限，不使性能下降。在一般的仲裁环（AL）环境中，设备通过环初始化序列或LIP来获取它们的仲裁环口地址（Arbitrated Loop Port Address简称AL_PA）,每当一个设备加入到一个环（loop）中时,它发出一个LIP。这样引起所有的设备挂起当前的工作，并获得一个新的或以前的口地址。一旦环（loop）分配了地址，高级协议查询允许主机识别它们的目标阵列。虽然这一过程很快，但它对环loop活动也会产生混乱。在Stealth模式中，AL_PA的分配是由switch来控制的。Stealth stealth【音标】：stel模式的交换器（switch）可以配置成限制LIP环初始化序列的传播。以便一个节点的引入或删除不会影响所有的设备。例如：如果有一个新设备，它已经连接到了hub上，并该hub连接到了switch的网口上，当该设备启动时，环初始化序列（LIP）可以被限制在该口的设备上。在其它网口上的主机和磁盘阵列可以继续交换数据而不受打扰。支持非打扰存取，对于磁带备份，视频和数字记录等应用是很关键的。通过限制环初始化，Stealth模式提供非中断高速连接来保证应用的完整性。环初始化的广播是可以配置的参数，它可以在switch网口一级进行开启和关闭。 采用图形化配置工具可以很方便地以Stealth模式定义每个口的设备类型。一个口可以支持对于stealth操作的单个或多个设备，主机和目标设备可以在网口一级被隔离来取得最大的吞吐量。Stealth模式也可以简化设备的物理分布，一个数据中心可能希望集群服务器，磁盘阵列和磁带子系统在物理上分别放置在不同的地方。如果这些设备连接到一个仲裁环集线器（AL hub）上，独占的电缆必须连接到各个地方的设备上来建立一个扩展的星型互连。采用stealth模式的交换器（switch），主机和磁盘阵列可以分配到集线器（hub）的不同段上，有效地降低了电缆的复杂性并提高了吞吐量。 图2-4 由于stealth模式交换允许在fabric中并行交换， 交换器（switch）能够级联起来建立大型的虚拟环（loop）。 对于磁带备份和带库应用是理想的解决方案。 JBOD(Just Bundle Of Disks)译成中文可以是"简单磁盘捆绑"或者“磁盘簇”，通常又称为Span。以三个硬盘组成的Span为例，其数据存储方式如图所示：Span是在逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。Span上的数据简单的从第一个磁盘开始存储， 当第一个磁盘的存储空间用完后， 再依次从后面的磁盘开始存储数据。Span存取性能完全等同于对单一磁盘的存取操作。Span也不提供数据安全保障。它只是简单的提供一种利用磁盘空间的方法，Span的存储容量等于组成Span的所有磁盘的容量的总和。结论：Stealth模式的交换器（switch）解决了在同时支持fabric和AL设备时出现的主要矛盾：Switch要求fabric登录同大部分HBA和存储阵列不能进行fabric登录的矛盾。这样的存储网络产品在支持真正fabric的同时，还要适应非fabric的设备的要求。Stealth模式是将光纤通道主机适配器（FC HBA），磁盘阵列，FC-SCSI桥接器（bridge）和仲裁环集线器（AL hub）集成在一起的唯一可行的解决方案。光纤通道交换器（FC switch）通过分区还支持虚拟专用存储网络，并且是可完全在SNMP SNMP(Simple Network Management Protocol,简单网络管理协议)的前身是简单网关监控协议(SGMP)，用来对通信线路进行管理。SNMP的目标是管理互联网Internet上众多厂家生产的软硬件平台，因此SNMP受Internet标准网络管理框架的影响的基础上进行管理。 在选择SAN设备时，必需明确HBA和存储设备控制器是适应AL的还是适应Fabric的。Switch的网口是F_Port还是FL_Port, 还是两者都支持。明确了这些才能将设备正确地接入到SAN网络中。3. RAID磁盘阵列 RAID是Redundant Array of Inexpensive Disks的缩写, 可直译为“廉价冗余磁盘矩阵”。磁盘阵列是由许多硬盘按一定的规则，如分条（Striping）、分块（Declustering）、交叉存取（Interleaving）等组成的一个快速、高可靠、超大容量以及超强I/O吞吐能力的智能存储子系统。它在阵列控制器的管理和控制下，实现快速、并行或交叉存取，并有较强的容错能力。从用户的观点看，磁盘阵列虽然是由几个甚至是上百个盘组成，但仍可以认为是一个单一的磁盘，其容量可以高达几十TB。使用RAID存储子系统具有以下优点：(1) 可以将许多磁盘用一个逻辑卷来表示；(2) 可以将数据分割成许多条带（strips）存储在多个盘上，这样并行读写这些盘上的数据提高了磁盘的访问速度。采用RAID技术，随着磁盘的增加，可以增加访问速度。(3) 可以通过数据镜像或校验码来提供容错技术。3.1 RAID级的意义 RAID技术是高效磁盘读写算法，标准的RAID写操作，包括如：RAID4或RAID5中所必需的校验计算，需包括以下几个步骤： 从校验盘中读取数据 从目标数据盘中读取数据 以旧校验数据，新数据及已存在数据，生成新的校验数据 将新校验数据写入校验盘 将新数据写入目标数据盘 磁盘阵列使用了将RAID写操作过程流水线化技术，极大提高了读写性能，这些技术都使用到了磁盘阵列控制器上的缓存，其容量可已高达128MB，甚至更高。 当主机将一个待写入阵列RAID组中的数据发送到阵列时，阵列控制器将该数据保存在缓存中并立即报告主机该数据的写入工作已完成。该数据写入到阵列硬盘的工作由阵列控制器完成，该数据可继续存放在Cache中直到Cache满，而且要为新数据腾出空间而必须刷新时或阵列需停机时，控制器会及时将该数据从Cache写入阵列硬盘中。 这种缓存回写技术使得主机不必等待RAID校验计算过程的完成，即可处理下一个读写任务，这样，主机的读写效率大为增加。当主机命令将一个数据写入硬盘，则阵列控制器将该数据写入缓存最上面的位置，只有新数据才会被控制器按缓存的方式最后写入硬盘。下面将分别介绍各个级别的RAID校验技术。 (1) JBOD单个磁盘控制 JBOD表示一束磁盘。控制器将每个磁盘驱动器视为一个独立的磁盘来操作，所以每一个磁盘驱动器是一个独立的逻辑盘，JBOD不提供数据冗余。 (2)RAID0磁盘条带化这种技术称为“Stripping”，即将数据条带化，又称数据分块，即把数据分成若干相等大小的小块，并把它们写到阵列上不同的硬盘上，这种把数据分布在多个盘上，在读写时是以并行的方式对各硬盘同时进行操作。从理论上讲，其容量和数据传输率是单个硬盘的N倍。N为构成RAID0的硬盘总数。当然，若阵列控制器有多个硬盘通道时，对多个通道上的硬盘进行RAID0操作，I/O性能会更高。因此常用于图象，视频等领域，RAID0 I/O传输率较高，提供了高性能的数据访问，但是没有提供数据冗余。Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7Block6Block5Block4Block3Block2Block1逻辑盘物理硬盘物理硬盘条带化图 3-1 RAID0 (3)RAID1磁盘镜像 即每个工作盘都有一个镜像盘，所以采用RAID1在磁盘阵列中必须有偶数个盘。每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据。当更换故障盘后，数据可以重构，恢复工作盘正确数据，这种阵列可靠性很高，但其有效容量减小到总容量一半以下，因此RAID1常用于对容错要求极严的应用场合，如财政、金融等领域。Block8Block7镜像4Block4镜像3Block3镜像2Block2镜像1Block1逻辑盘物理硬盘物理硬盘镜像Block67Block5Block4Block3Block2Block1图 3-2 RAID1 (4)RAID(0+1)磁盘条带化和镜像Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7Block6Block5Block4Block3Block2Block1逻辑盘物理硬盘物理硬盘条带化镜像8镜像7镜像6镜像5镜像4镜像3镜像2镜像1条带化镜像 RAID(0+1)将RAID0和RAID1结合起来，同时具有条带化和数据镜像。由于RAID(0+1)采用了硬盘的全冗余，它允许多个硬盘故障，并且提高了数据的访问速度。图 3-3 RAID(0+1)注意：在LEC磁盘阵列中，如果多于2块磁盘被分配用于RAID1，那么控制器将自动采用RAID(0+1)，而显示的是RAID1。 (5)RAID3磁盘条带化并具有专用校验盘 RAID3采用了条带化技术并且具有专用的校验盘，一个硬盘驱动器被专门用于校验数据的存储。为单盘容错并行传输。即采用Stripping技术将数据分块，对这些块进行异或校验，校验数据写到最后一块硬盘上。它的特点是有一个盘为校验盘，数据以位或字节的方式存于各盘（分散记录在组内相同扇区的各个硬盘上）。当一个硬盘发生故障，除故障盘外，写操作将继续对数据盘和校验盘进行操作。而读操作是通过对剩余数据盘和校验盘的异或计算重构故障盘上应有的数据来进行的。RAID3的优点是并行I/O传输和单盘容错，当一个硬盘驱动器出现故障时，控制器可以从专用校验硬盘驱动器上恢复/重新生成故障硬盘丢失的数据，具有很高可靠性。Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7Block6Block5Block4Block3Block2Block1逻辑盘物理硬盘物理硬盘条带化校验7,8校验5,6校验3,4校验1,2专用校验盘图 3-4 RAID3 (6)RAID5磁盘条带化并具有分布式校验 RAID5同RAID3类似，但是校验数据不是放在一个专用的校验硬盘上，而校验信息是分散在不同的硬盘驱动器上。是一种旋转奇偶校验独立存取的阵列方式，按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上，所以在每块硬盘上，既有数据信息也有校验信息。这一改变解决了争用校验盘的问题，使得在同一组内并发进行多个写操作。所以RAID5即适用于大数据量的操作，也适用于各种事务处理，它是一种快速、大容量和容错分布合理的磁盘阵列。当有N块阵列盘时，用户空间为N-1块盘容量。当出现故障时，控制器可以从其他硬盘中恢复/重新生成故障硬盘的丢失数据。Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7校验5,6Block5Block3校验3,4Block2Block1逻辑盘物理硬盘物理硬盘条带化和分布式校验校验7,8Block6Block4校验1,2物理硬盘图 3-5 RAID5另外还有其他一些RAID级，由于不常使用或以被淘汰，这里不再赘述。3.2 磁盘阵列的术语 (1)物理驱动器 Physical Drives 物理驱动器就是指在磁盘阵列中的物理硬盘，它连接到磁盘阵列的内部SCSI或FC-AL上。物理硬盘图 3-6 物理驱动器 (2) 逻辑驱动器 Logical Drives 在磁盘阵列中，将一些物理硬盘组合为一个逻辑驱动器或称为逻辑盘。逻辑盘对计算机来说就像一个本地的大硬盘。RAID级是在逻辑盘的基础上来设定的。逻辑盘物理硬盘 图 3-7 逻辑盘 (3) 逻辑卷 Logical Volume 逻辑卷的概念类似于逻辑盘。一个逻辑卷是由一个或多个逻辑盘组成，这些逻辑盘可以是相同的RAID级或不同的RAID级。逻辑卷可以最多被分为8个分区Partitions。对计算机来讲，它看到的是一个未分区的逻辑卷或是一个分区的逻辑卷的一个分区来作为一个物理硬盘。物理硬盘逻辑盘逻辑盘逻辑盘物理硬盘物理硬盘逻辑卷图 3-8 逻辑卷 (4)备用驱动器 Spare Drives 局部备用驱动器是一个分配给一个特定逻辑盘的空闲硬盘。当所分配的逻辑盘中的一个硬盘出现故障时，本地备用硬盘将成为该逻辑盘的成员，并且自动启动重建工作，恢复损坏的数据。逻辑盘物理硬盘局部备用盘LS图3-9 局部备用盘 全局备用驱动器或硬盘不是服务于一个特定的逻辑盘。当任何一个逻辑盘的成员出现故障时，全局备用硬盘将加入到那个逻辑盘中并且自动启动重建工作。逻辑盘1逻辑盘2逻辑盘3全局备份盘GS替换任意逻辑盘中的故障盘GS1GS2图3-10 全局备用盘一般的磁盘阵列都提供这两种备用磁盘的方法。 (5) SCSI接口 SCSI是Small Computer Systems Interface的缩写，是一种工业标准的总线接口。它是计算机和磁盘阵列的主要接口之一。SCSI接口分为以下几种： NARROW SCSI：窄口SCSI，50芯电缆和插头，可串接7个SCSI设备。 WIDE SCSI：宽口SCSI，68芯电缆和插头，可串接15台。SCSI接口电平方式划分为单端和插分： 单端SCSI电缆不超过6米，Fast SCSI不超过3米。 插分SCSI电缆不超过25M。SCSI有不同的版本： SCSI-1: 8位数据传输，传输速率 5MB/秒，支持同步/异步设备。 SCSI-2: Fast SCSI，8位数据传输，传输速率10MB/秒 . Wide SCSI，16位数据传输，传输速率20MB/秒。 SCSI-3: Ultra SCSI，8位数据传输，传输速率20MB/秒。 Ultra Wide，16位数据传输，传输速率40MB/秒。 支持光纤通道 LVD Ultra2 Wide SCSI，16位数据传输，传输速率80MB/秒 (6) SCSI Terminator(终结器) SCSI bus两端需要终结器（Terminator）来终结。硬盘上一般有终结器使能跳线，标记为TE。 (7) SCSI ID 每一台SCSI外围设备都需要分配不同的SCSI ID，以便主机可以访问这些外围设备，如：磁盘阵列中要为每一条SCSI总线上的硬盘分配不同的ID，以便形成逻辑盘，每个逻辑盘也要分配不同的ID，以便主机识别。硬盘上一般都有ID跳线，见硬盘上部说明或指示。(8) LUN 逻辑单元号（Logical Unit Number）逻辑盘可以象普通磁盘一样进行分区，每一个分区可以定义一个LUN。LUN一般从0开始。UNIX下生成设备特殊文件时，有可能需要该LUN号，请同系统管理员联系识别磁盘的方法。 (9) 光纤通道光纤磁盘阵列采用光纤接口,光纤接口一般支持点对点连接和仲裁环连接甚至可以连接到光纤网Fabric中.每一个光纤仲裁环可以连接127个光纤设备.一般光纤接口采用SC连接器.光纤通道的传输速率为1000Mb/s,并采用SCSI-3通信协议进行通信。（10）各类磁盘设备接口比较各类SCSI总线带宽速率比较SCSI BusBus WidthSCSI Bus Sync. FrequencyMax. Bus ThroughputSCSI-18-bitAsynchronous5MB/Sec(Fast)SCSI-28-bit10MHz10MB/Sec(Fast)Wide SCSI-216-bit10MHz20MB/SecUltra SCSI-28-bit20MHz20MB/SecUltra Wide SCSI-216-bit20MHz40MB/SecUltra2 Wide SCSI 16-bit40MHz80MB/SecFibre1-Bit1GHz100-200MB/Sec各类SCSI总线接口性能比较SCSI BusSingle-EndedDifferentialLVDFibre*Maximum DevicesSCSI-16m25m-8SCSI-23m25m-8Wide SCSI-23m25m-16Ultra SCSI-21.5m25m-8Ultra SCSI-23m-4Ultra Wide SCSI-2-25-16Ultra-Wide SCSI-21.5-8Ultra-Wide SCSI-23m-4Ultra2-Wide SCSI-12m-16Fibre(Copper cable)-30m126Fibre(Fiber-Optic Cable-10km1263.3 磁盘阵列的分类 按采用的通道方式划分磁盘阵列可分为: SCSI接口磁盘阵列，通过SCSI通道同主机进行连接。 光纤接口磁盘阵列，通过光纤仲裁环连接到计算机的HBA上。 每种接口细分，又可分为若干种。请参阅有关手册的详细说明。一般选用什么样的接口要根据要求的传输距离、速度和设备的数量来定。 按机箱的样式划分可分为： 塔式磁盘阵列。 19”机架式磁盘阵列。 塔式磁盘阵列一般用于容量要求比较小的场合。而19”机架式磁盘阵列用于大型数据处理。图 3-11 塔式和机架式磁盘阵列4. SAN中的硬件设备和工具随着存储网络（SAN）迅猛发展，涌现出许多与光纤通道相关的新产品，这些产品的功能和用途，是建立SAN所必须了解的基础知识。建立一个SAN系统时我们必须要知道其连接方式如何？管理存储网络需要哪些软/硬件支持？了解了下面硬/软件的概念，就会给出上述问题的答案。4.1 HBA (主机总线适配器)光纤通道的主机总线适配器安装在主机上，类似于网卡，主机通过它来同FC-AL连接起来。对于不同的计算机都可提供相应的HBA，并且支持不同的操作系统： Windows NT， Unixware，Novell，Netware，AIX，OS2，Solaris，MAC和其它的一些操作系统。HBA具有以下特征： 具有主机的总线接口 1Gigabit/sec数据传输率 具有光纤(Fiber)和铜线（Copper）接口 支持SAN测试和验证4.2 Hub（集线器）仲裁环集线器（AL Hub）通过集中环（loop）网口来实现环（loop）的星型连接。典型的AL hub提供7-12个网口，每个网口可以连接一个仲裁环设备，或级联到其它hub或switch上，建立大型环（loop）。就像在以太网和令牌网中所使用的hub，AL hub提供更大的可控性和可靠性。AL hub在每个网口上使用了旁路电路以便隔离损坏的节点以免干扰整个环（loop）的数据通信。一些hub在每一个口上提供了状态和诊断指示灯（LED），并且提供了复杂的仲裁环（loop）完整性和SNMP的管理。Hub具有以下特征： 提供FC-AL设备接口 网口旁路电路和状态指示灯 FC-AL设备之间共享1Gigabit/s带宽 有支持SNMP和不支持SNMP之分 可以级联hub，在级联之间共享100Mbyete/s 可以连接到Switch的FL_Port上 价格相对Switch较低4.3 Switching Hub（交换集线器） 一个光纤通道（FC）交换集线器是一种能够提供仲裁环（AL）和网络（fabric）交换优点的变种技术。它不但可以连接仲裁环设备，而且可以连接另一个仲裁环。一个交换hub管理一个或多个仲裁环（AL）段的地址空间来建立更大型的逻辑环（loop）。这样允许在物理上是独立的环（loop）上节点可以透明地跟另一个节点通信，而保持了每一个环（loop）上的高可用带宽。交换hub产品优化并扩展了仲裁环（AL）性能。交换hub还提供了一些网络交换（fabric switching）的优点，它在多个物理仲裁环（AL）上提供了并行的1Gigabit/s存取。交换集线器一般是可管理的，在提供FC光纤通道接口外，一般还提供串口和以太网口可通过串行终端或LAN上的管理节点对其进行设置和监控，其软件管理界面都是图形化的操作非常方便直观。4.4 Fabric Switch（网络交换器）典型的光纤通道交换器（FC switch）提供8-16个网口，并且每个口是完全的千兆位速度。同以前用Ethernet switch建立的模式相仿，一个光纤通道交换器（FC switch）网口可以支持一个单个节点或多个节点的共享段。每一个网口都在1Gigabit/s上工作。多个网口可以提供更高的带宽。通过对仲裁环的分区，可以建立虚拟专用网络，适应某些特殊应用。光纤通道交换器（FC switch）同时提供串口和以太网口，可以连接到控制台或LAN上。以对switch进行监控。Switch具有以下特征: 可以连接网络设备和仲裁环 接口之间具有独立100Mbyte/s的传输能力 可以级联多个switch 在switch口之间可以进行分区,实现虚拟专用网络 自动旁路功能 支持SNMP协议, 具有可管理性4.5 FC-SCSI Bridge（FC-SCSI网桥）FC-SCSI的Bridge是光纤通道到SCSI接口的转换设备。通过该设备可以将以前的SCSI设备连接到光纤通道上。有两种模式的Bridge主机模式和存储模式。主机模式用于将服务器通过SCSI接口连接到光纤通道上。一般可以将两个服务器连接到光纤通道上存取SAN上的存储设备。存储模式用于将磁带设备和磁盘设备连接到光纤通道上使得SAN上的服务器访问这些设备。存储模式bridge一般有一个通道连接光纤通道，两个SCSI通道连接存储设备。FC-SCSI 桥接器支持的SCSI有：Ultra Wide SCSI, Ultra