云存储解决方案成功案例与经验分享

《云存储解决方案成功案例与经验分享》由会员分享，可在线阅读，更多相关《云存储解决方案成功案例与经验分享（47页珍藏版）》请在装配图网上搜索。

1、世界每天都在变得越来越智慧是什么让它越来越智慧?答案是越来越多的信息!2009年发售250亿 RFID 到2013年，每年将发售有9亿卫星导航设备（GPS)在美国，每天产生400TB的文字信息 资料仓库,视频监控,智慧电网,三网融合.物联网技术方兴未艾，PB级的信息系统将司空见惯2000200520102015 需要控制存储容量的增长存储需求的增长超过了预算的增长预算数据 控制您的开销 立刻采取措施，也许还能控制住成本信息爆炸与预算的匹配情况TBPBEBZBGB越来越复杂的IT环境厂商C厂商B厂商A驱动A驱动A驱动B驱动B驱动C远程镜像?能否跨存储服务器实施拷贝服务?需要有几套存储管理接口?没

2、空间了没空间了没空间了空余空间010101010101010101010010101101001000数据迁移SAN管理控制台A管理控制台 C管理控制台 B快照?存储的利用率高吗?数据迁移造成的停机时间是否很多?Windows ServersLinux ServersUNIX ServersIslands of computing and dataDisparate management toolsManual ProvisioningManagement ServersPhysicalConsolidationComplexityLogicalVirtualizationWindows Se

3、rverUNIXServerLinux ServerNetworkingNetworkingFewer devices and licensesDisparate management toolsLabor intense provisioningPools of resourcesVirtualized serversQuick provisioningAutomated managementStorageVirtualizationVirtual Servers,Storage,NetworksStorageServers让高效云存储来帮您解决问题Networking云计算的核心要素=成本

4、 虚拟化+标准化自动化+SLA 更多的资金用于新的投资加速部署和增加新的IT能力 随处访问 随时在线 自动按需扩展 用户自我服务2022-11-307云计算智慧的服务提供方式云计算是一种新的计算模式，利用互联网技术把大量可扩展(和弹性)的IT相关的能力作为一种服务提供给多个用户2022-11-308什么是云存储?云存储在云计算(cloud computing)概念上延伸和发展出来的一个新的概念。云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储是一种存

5、储服务模式(Storage as a Service)：把存储资源作为服务通过网络提供给用户2022-11-309云存储的特点IBM云存储为用户带来的价值n简化了IT管理工作n提高了IT管理的效率n节约了成本，保护环境l排放热量减少60%以上l空间占用减少80%l灾难恢复时间减少85%l快速满足业务需求 能够监控存储资源，并根据已定义的规则自动地平衡资源的分配。存储资源的物理位置及底层的基础架构对于用户来说是透明和不相关的 可以将复杂的工作负载分解成小块的工作，并将工作分配到可逐渐扩展的架构中。基于服务为导向的架构，动态地分配和部署共享的存储资源。可以支持多种计算机应用类型，且同时支持消费者应

6、用和商业应用。2022-11-3010存储云与传统存储平台的区别块存储云文件存储云块存储用户文件存储用户LUN,iSCSI LUNTargetsPOSIX(NFS,CIFS,WebDAV),快速为用户部署存储空间按实际用量计费降低存储成本(存储共享，重复数据删除，数据压缩)系统管理简单弹性扩展11IBM云存储解决方案BlockStorageFileStorageDataServices网格块存储虚拟化块存储集群文件存储备份云存储归档云存储块信息云存储 提供块设备存储服务，适用对性能、可靠性有一定要求的数据库应用 弹性扩展，不影响业务的运行 存储的物理结构对用户透明 易于管理 按需供给存储容量文

7、件信息云存储 提供文件存储服务 海量、弹性扩展，支持PB级数据和数十亿个文件 存储的物理结构对用户透明 全局命名空间 内置数据存放策略和信息生命周期管理 高性能和高可用性数据服务云存储 数据保护 数据安全及合规更安全更可靠!n 安全的存储和保护业务信息更快更持续n 应对整合的多种业务更简单易用n 让信息人员专注于业务性价比更高n 更低的运维成本扩展和变更容易n 迁移/整合/升级简单,平滑企业级存储云对存储的要求14IBM存储家族自动存储分级存储存储虚拟化服务-SVC备份，恢复和去重服务系统在线和离线备份集中和异构存储管理系统-TPC共享文件服务SAN/IPDS8000DS5000DS3000I

8、BMIBM 磁带Tivoli Storage Manager ProtecTIERTivoli Productivity CenterSoNASN-SeriesSAN Volume ControllerOthersHDSHPEMC非IBM存储IBM磁盘IBM 磁带非IBMTivoli Storage Manager ProtecTIERTivoli Productivity CenterSoNASN-SeriesV7000SVC:网络级存储虚拟化中心16SVC协助建立了一个十分灵活的虚拟存储架构Storage PoolSANHDSIBMVirtualDiskVirtualDiskVirtual

9、DiskVirtualDiskSAN Volume ControllerSUN HPEMC把不同存储阵列的存储容量组成一个统一的存储池Advanced Copy Services在存储池上应用统一的拷贝服务功能通过中心控制点进行集中管理存储设备发生改变时，主机应用不会被迫中断XIV:块级网格云存储数据模块UPSUPSUPS数据模块数据模块数据模块主机主机FC内部交换机iSCSI主机2022-11-3019块存储云 XIV 网格虚拟存储所有特性全部均可线性扩展 所有情形下一致的性能表现,硬件故障时及快照均不影响系统性能;根除了热点,可实现持续的高性能持续的高性能 业务数据比以前更安全,几乎免疫了

10、停机或业务中断;超越 5个9 的系统级可靠性,引领业界新标准可预见的可靠性 Tier 1的功能(快照,复制,精简资源调配,数据迁移)全部内置;功能的扩展没有性能惩罚内置的丰富功能 完全虚拟化的系统,业界领先的可管理性,实现快速部署和维护极其简单的管理 极佳的成本控制;同级产品最佳的总体拥有成本;更环保节能,更低的能耗,更低的机房空间占用,更低的管理成本最佳性价比2022-11-30205 点要素,完全适应块级存储云2022-11-3021XIV 数据分布算法VMwareERPOracle分布算法 每个 volume 均跨越全部磁盘转轴;数据被”分成”1MB“分区”以网格的方式存储在磁盘上;XI

11、V以”伪随机”的算法自动将”分区”分布到 所有 的磁盘上;优点 无需调优;没有热点;恒定100%负载均衡;恒定100%磁盘利用率2022-11-3022XIV-存储扩展VMwareERPOracle模块被添加数据自动重新分布分布过程不影响性能无需人工干预无需调优无需重新规划2022-11-3023XIV 存储扩展(2)VMwareERPOracleExchange新增数据和 Volume 被分布到整个网格架构中新增和现存的 volume 共享相同网格的资源无需人工干预2022-11-3024XIV-存储弹性数据会存储在网格内现有的组件中重建期间对性能影响极小“自我优化”重建过程由全体驱动器参与

12、Data Module 2Data Module 3Data Module 4Data Module 1 硬件故障!发生在网格中的全部组件上传统架构复杂,不主动随容量增长,全手工调整需要更多的预先规划对现有的生产系统的风险更高需要更多的监控和调整较低的容量利用率XIV完全自动化无需预先规划自动负载均衡最优的容量利用率2022-11-3025性能 存储管理 XIV 快照拷贝功能:真正的革新 基于指针的ROW,在多份快照的情形下依然性能卓越瞬间快照创建和删除功能丰富,管理简便 几乎无限的快照数量 可达16,000+Thin Provisioning:内禀于系统设计XIV 系统自系统设计伊始便考虑了

13、Thin provisioning节省了成本,能耗,和空间 同步/异步远程数据复制:满足RPO需求结合自动化快照保障数一致性支持 iSCSI 和 FC 连接 数据迁移技术:独一无二,在线完成支持异构存储以代理方式运行仅需停机一次,极短的停机窗口2022-11-3026XIV:内置企业级存储管理软件高性能快照提供:更简便的物理磁带备份 从逻辑备份即时恢复 轻松创建开发测试环境 易于回滚的Boot-from-SAN环境 更易于完成基于生产数据上的数据挖掘Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Mod

14、ule 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Module 1Data Modu

15、le 1Data Module 1在虚拟服务器环境中快速增加/部署虚拟机在存储系统中快速为虚拟机分配存储空间存储系统自动为虚拟机优化性能,消除热点WINZ-LINAIXZ-LINAIXWINVMwareP-SeriesZ-Series优化虚拟化环境:P-Series,VMware,Z-Series&XIV2022-11-3028XIV:管理极其简单2022-11-3029XIV带来的TCO 节省:管理成本 管理投入 50%硬件投入 20%软件投入 30%设施投入 25%2009 ITG(International Technology Group)报告报告XIV传统高端存储2022-11-30

16、30总结 可靠的高性能 简单 易用 灵活 低TCOXIV:网格技术提供具备自恢复能力的即插即用的块级云存储平台发射后不管!2022-11-3031是什么原因使1,000个客户放心的在4,000+XIV上运行关键业务?SoNAS:无限扩展的文件级云存储33集群文件存储IBM SONAS：为云时代准备的存储CIFS客户端HTTP 客户端FTP客户端NFS客户端管理节点接入节点.IP网络磁带库接入节点Storage PodStorage PodSCP客户端.接入节点单一文件名空间存储节点存储节点存储节点存储节点Infiniband数据网络IP管理网络磁盘阵列磁盘阵列磁盘阵列磁盘阵列一级存储：高速盘阵

17、二级存储：大容量盘阵三级存储：磁带库SONAS简单:只有3个基本组件 接口节点 多快 存储节点 多大 管理节点 所有节点都是集群方式的高可用模式 外部用户通过 IP 方式接入 所有节点的内部互联通过高带宽、低延时的私有 Infiniband 网络并行网格架构 优秀的线性扩展性 高性能 高可用和冗余SONAS 系统软件在所有节点上运行 策略性的自动化 全局文件系统 图形化管理界面及操作系统34SONAS Software Enhanced InterfacesSystems SoftwareStandard componentsCIFSParallelParallelFile SystemFil

18、e SystemCentralCentralPolicyPolicyEngineEngineBase operating system(Enterprise Linux)IBM Server s IBM Server s (x3650M2)Monitoring AgentsNFSFTPHTTPCluster ManagerGUI/CLI mgmtinterfacesFutureSecurityHSM and ILMBackup&RestoreSnapshots,Replication 35IBM Scale Out NAS 被实施以后:全局虚拟文件存储器协议CIFSNFSHTTPFTPSCP管

19、理CentralAdministrationMonitoringFile Mgmt可用性Data MigrationReplicationBackupGlobal namespace在不同层的存储池间自动移动自动切换的集群自动分层存储高速文件扫描引擎分层存储重复数据删除的VTL或磁带库高性能PB级文件扫描和搜索终端用户高端工作站应用服务器数据库SONASGlobal VirtualFileServerSONAS 系统结构36TSM nodeInterface NodeInterface Node Customer IP NetworkWindows 用户UNIX 用户InfiniBand Cl

20、uster NetworkPrivate Ethernet Management NetworkManagement NodeInterface NodeTSM nodeStorage NodeStorage NodeHigh Density RAID ControllerStorage Pod One or two high density 4U x 60 HDD RAID Controllers One high density 4U x 60 HDD storage expansion unit per RAID controller Up to 30 Storage PodsSONAS

21、 系统Up to 30 Interface nodesInfiniBand Cluster NetworkOptional:1st Disk Expansion unit on 1st RAID ControllerHigh Density Disk EnclosureOptional:2nd RAID ControllerHigh Density RAID ControllerHigh Density Disk EnclosureOptional:Optional 1st Disk Expansion unit on 2nd RAID ControllerInterface NodeInte

22、rface NodeInterface NodeStorage PodTape37 .scale outscale out/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_arch

23、itecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpgIBM Scale Out NAS Policy EngineGlobal Namespace注意:上示例中三个文件都在同一个文件系统目录中，但根据业务需求和数据特点分别被分配到不同的后端存储池中。数据在后端存储设备间实现全局条带化。高性能自动调优自动负载均衡Tier 1:SAS drivesTier 2:1TB SATA drivesTier 3:2TB SATA drivesInterface nodesInterface nodesInterface nod

24、esStorage nodesStorage nodesStorage nodes逻辑视图 物理视图l文件存储虚拟化 IBM SoNAS工作模式38IBM Scale Out NAS2022-11-30全集成的系统超级可括展网络连接存储系统(NAS)，包含一系列业界领先的软件功能NFS,CIFS,FTP,HTTP and SCP 网络协议聚合各项高性能硬件，超越传统文件存储器.全局文件名字空间（Global file system namespace）同步和异步的远程复制文件数据文件系统快照和定额控制可括的，集成的数据生命周期管理(ILM)自动分层存储Automatic tiered stor

25、age HSM 支持到外部Tivoli Storage Manager(TSM)服务器实时性能监控集成的系统硬件总监控（System HealthCenter）LDAP 和 Windows Active Directory 支持1GbE 和 10GbE 外部端口内部采用高速、超低延时的Infiniband集群网络作为核心数据交换系统(20 Gbit/sec)高密度 RAID 控制器和磁盘扩展柜(4U x 60 HDDs)支持高速SAS 和高容量 SATA 磁盘，很快将要支持SSDPrimary Rack 42GbE Switch#241GbE Switch#1403938373636-port

26、 IB3536-port IB#1343332313029282726252423221U Blank Filler Panel21Keyboard,Video,Mouse2019181716151413121110987654321Management Node#1 iPDUiPDUManagement Node#2 Interface Node#6Interface Node#5Interface Node#4Storage node#2Storage node#1iPDUStorage Controller#2.1 Disk Storage Expansion Unit#1.2Stora

27、ge Controller#1.1 iPDUDisk StorageExpansion Unit#2.2Interface Node#3Interface Node#2Interface Node#139适合使用SONAS云存储的环境 数字媒体 高性能、海量存储能力、极高的扩展性、随处访问等特点适合于媒体行业对性能、容量及变化多端的环境 网络内容存储 海量存储能力及自动分级能力特别适合存储Web内容 高性能计算和分析系统 性能好，扩展能力强，并行共享适合于需要高性能计算的用户 协同工作及文件存储 海量存储、自动分级、高扩展能力以及随处访问、随时在线的特点适合于大型企业和文件数量众多的场景 能源

28、地理科学 能源探索和地理科学要求大量可访问的命名空间作分析之用和非常高的性能 汽车、飞机设计及数字模拟分析 可高速处理、编排海量原始数据，在授权范围内共享数据40IBM Tivoli Storage Productivity Center控制中心存储云的统一管理平台TPC 所提供的管理特征:从单个用户界面管理整个数据中心配置,计划,实施,指导配置变更管理跟踪资产,容量,利用&会计报表趋势&性能分析告警&问题隔离复制管理支持广泛的平台TPCStorageServerSAN2022-11-3041存储云的框架物理设备层设备管理层数据管理层服务接入层专用APINFSCIFSLUN/iSCSI LUN

29、WebDAV存储云用户Tier-1 DiskTier-2 DiskTier-3 DiskSAN SwitchTape块存储云(LUN服务)文件存储云IBM存储云解决方案应 用 相 关 性01002022-11-3042正确采用云技术可以帮助客户面向未来，让IT架构更加灵活，易于开展新的业务为客户提供稳定、可靠、快速的优质服务提高设备利用率，降低购买和管理成本，提升竞争能力案例1:西部某电信公司IDC项目云计算43XIVPower 570(with PowerVM and VMcontrol),X3755,Xblade,SVC,XIV,TS3310,TPC,TPM,TSM,ITM,BlueClo

30、ud44案例2:中科院计算机网络信息中心(CNIC)案例3:某石油研究院云计算中心l 整合研究院应用l 创建公共虚拟存储池l 搭建云计算中心存储平台pOXLp7v0djZKylHSJr3WxBmHK6NJ2GhiBeFZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMeR4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI9

31、2tgKQcWA3PtGZ7R4I30kA1DkaGtgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMeR4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMes02GshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMes02dLPqafkFGlzcvv2YiRQYHbhR8AI1LKULh3xvjDzkEAMGr8xbwF1bH1oIM30E7xp