小型机技术基础概述及各厂家小型机介绍

小型机技术基础概述 目录 小型机历史及定义各厂商小型机内部构造小型机体系结构小型机分区技术介绍小型机CPU介绍小型机操作系统 小型机与x86服务器对比 第一代计算机和大型机世界上第一台现代电子计算机“埃尼阿克”(ENIAC)，长30.48米，宽1米，高2.4米，占地面积约170平方米，30个操作台，重达30英吨，耗电量150千瓦，每秒执行5000次加法或400次乘法。 1964年，IBM推出了划时代的大型机 System 360，System 360成为第一部具有硬件扩充弹性化的特点的大型主机。 小型机名字由来1965年DEC公司的PDP-8的小型计算机发布上市，此时伦敦街头正流行“迷你裙”，因此这款当时小巧玲珑的机器被称为“Minicomputer”，产品一经推出，由于其小巧的外形和具有竞争力的价格受到市场青睐，并引发了当时计算机市场的小型化革命，小型机的名字由此而来 。 小型机定位目前市场上按体系架构分类，服务器可分为：X86服务器、小型机、大型机大型机小型机 X86服务器厂商：IBM厂商：IBM、HP、Oracle、浪潮厂商：浪潮、Dell、联想、曙光、华为等 小型机定义小型机泛指各个计算机厂商生产的基于RISC （Reduced Instruction Set Computer 精简指令集）或者EPIC技术的CPU，运行UNIX一类操作系统（每个厂商都有自己“改良版”的UNIX）的服务器，此类服务器一般用于商业领域计算、处理的应用。CPU 操作系统厂商 目录 小型机历史及定义各厂商小型机内部构造小型机体系结构小型机分区技术介绍小型机CPU介绍小型机操作系统 小型机与x86服务器对比 小型机属于中高端服务器产品，有研发能力的各大厂商为维持在服务器市场的战略地位都会推出自己的小型机产品，目前拥有小型机产品的厂商主要有IBM、HP、Oracle和富士通及中国浪潮小型机采用的是主机/哑终端模式,并且各家厂商均有各自的体系结构,彼此互不兼容。 中端高端低端超低端超高端 P780K1产品线 IBM Power Superdome2Rx9900SD 2 8s Rx9800HP 动能系列Rx2800 i4 SPARC T5-2 SPARC T5-8/M10-4S SPARC T5-4/M10 Oracle T5 浪潮国产小型机产品线 旗舰型32路256核核心型 32路128核灵动型 8路64核 K1 950K1 930K1 910 整机RAS特性增强 计算性能提升 K1产品线实现关键应用主机高中低端市场全面覆盖K1 910灵动迅捷，关键应用系统的高效整合平台K1 930坚若磐石，关键应用系统的护航基石K1 950卓越超群，关键应用系统的最佳部署平台配合K-UX、K-DB，满足全部关键行业客户需求 下一代千核级关键应用主机 小型机构成-天梭K1系统浪潮天梭K1系统采用模块化设计，包括计算模块、互连模块、管理模块等，其中计算模块为主要模块，包含CPU、内存等部件，互联模块用于各个计算模块的连接计算模块互连模块 管理模块散热模块I/O模块电源模块各个模块 小型机构成-天梭K1系统计算模块内部结构浪潮天梭 K1 系统硬件系统互连拓扑如右图所示：主要由 8 个计算模块和 4 个 NR 板组成，每个计算板上两个 NC 芯片，每个 NC 芯片有 4 个高速NI 端口，每个 NI 端口的 速率达到 8.5GB/s，16 个 NC和 4 个 NR 实现全互连。 小型机构成-天梭K1系统计算模块内部结构计算模块为系统提供强大的计算能力，以及多种设备接口，是系统的核心模块 小型机构成-天梭K1系统K2芯片国际先进的自主知识产权的处理器协同芯片 16端口的高阶交叉开关实现32路系统的单级网路跳步连接 通过高带宽冗余链路分别与各处理模块相连,构成多平面网络结构 中国成为世界上第三个掌握此核心技术的国家 小型机产品IBM篇 小型机构成-IBM 770IBM 小型机770由四个4U机架服务器组成，多个节点服务器之间通过SMP Flex线缆按照一定的规则顺序连接起来。 小型机构成-IBM 770每个4U机架式服务器包括一个Power7处理器卡，封装了两个Power7芯片插槽和16个DDR3内存插槽。 小型机产品-HP篇 小型机构成-HP Super Dome2惠普的小型机Super Dome2定位为关键业务服务器，为刀片架构，主要由I/O扩展柜、刀片机箱和存储单元三部分组成。每个刀片机箱可插8个刀片，每个刀片可支持两颗安腾CPU。 小型机构成-HP Super Dome2以下为Superdome 2刀片上的主要组成单元。其中每个CPU通过4颗Memory Buffer（内存缓冲）芯片连接到16个DDR3-RDIMM（Registered ECC）内存插槽。2颗Itanium处理器与sx3000 Agent芯片组之间的连接，是通过每个CPU提供的3条QPI来实现的。 小型机构成-HP Super Dome2 小型机产品Oracle篇 小型机构成-Oracle T5系列服务器Oracle的T5系列处理器，其中T5代表此类服务器所用CPU为T5系列处理器，T5-x中的x代表CPU数量。 Oracle T5-1B、T5-2、T5-4、T5-8系列处理器 小型机构成-Oracle T5系列服务器Oracle系列服务器支持1/2/4/8颗CPU互联，其中两颗T5 CPU处理器互联如下图。 总而言之，小型机有着有普通服务器不一样的内部构造，这是由于各厂商为提高小型机的整机性能和高可靠性而进行整体优化的结果。 目录 小型机历史及定义各厂商小型机内部构造小型机体系结构小型机CPU介绍小型机分区技术介绍小型机操作系统 小型机与x86服务器对比 SMP结构：目前 IBM POWER系列处理器采用的是SMP结构，在CPU设计、操作系统架构等方面进行优化，可实现最大32路CPU互联。NUMA结构：目前浪潮天梭K1系统及惠普的Super Dome 2采用的是NUMA结构。CPU直连：Oracle T5系列小型机采用的体系结构 天梭 K1P795 Superdome2 SPARC M6-32 Fujitsu M10 SMP (Symmetric Multi Processing)：全称是对称多处理技术，是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存子系统以及总线结构。 CPU0 CPU1 CPU2 CPU3 存储器 I/O SMP (Symmetric Multi Processing)，并行处理技术，应用比较广泛，单处理器很难满足实际应用需求，厂商开始采用对称多处理来解决问题，常规的是4-8个CPU。CPU内部必须内置APIC单元。相同的产品型号，同样类型的CPU核心尽可能保持相同的产品序列编号完全相同的运行频率 扩展方面 可用性方面可用性较差 能承担一般性系统业务，在对应核心业务时，难以保障用户投资扩展能力有限每个CPU通过相同的内存总线访问，造成内存访问冲突，降低CPU效率 NUMA(Non-Uniform Memory Access)：为了突破SMP在扩展能力上的限制，来构建大型系统，NUMA技术顺势而生。NUMA（非一致性访问存储架构）由多个CPU模块组成，每个CPU模块由多个CPU组成，并且具有独立的本地内存、I/O 槽口 80末-90初 90年代 2000年 2000 2001 至今Cray推出 Cray 6400Compaq推出GS320HP推出 Superdome INSPUR推出 K1Sequent提出定义IBM推出NUMA-Q 访问速度：本地节点邻居节点远端节点 远端节点邻居节点本地节点对于某个节点中的所有CPU，此节点称为本地节点 与本地节点相邻的节点称为邻居节点 非本地节点或邻居节点的节点，称为远端节点 NUMA具有多个节点(Node)，每个节点可以拥有多个CPU(每个CPU可以具有多个核或线程)。节点可分为本地节点(Local Node)、邻居节点(Neighbour Node)和远端节点(Remote Node)三种类型。 具有多个CPU模块，每个模块又几个CPU组成，分别有独立的内存、I/O、总线NUMA系统既能访问本地内存又可以访问远程内存。良好的伸缩性 摆脱超大总线对多处理器的束缚，增强单一操作系统可管理的处理器、内存和I/O插槽 让处理器快速的访问在同一单元的内存 提供内存互联的硬件系统 在保持系统规模高扩展的前提下，实现处理器带宽与网络带宽相对平衡，并同时保持较低的互连网络平均延迟。 NUMA系统的带宽较宽，适合多线程、多事务的并发处理模式 高负荷下，保障系统高性能、稳定性、可靠性 银行设备 税控设备 互联网站机场进出港系统证卷交易 其他设备和终端存储系统 存储系统存储系统关键应用主机电信通讯设备 性能SMP NUMA操作性稳定性安全性可扩展性开放性灵活性 可维护性 目录 小型机历史及定义各厂商小型机内部构造小型机体系结构小型机分区技术介绍小型机CPU介绍小型机操作系统 小型机与x86服务器对比 分区概念所谓分区,就是将一台物理上的服务器划分为多台机器来使用的技术，可分为物理分区、虚拟分区。在小型机分区技术里：物理分区可分为固定式分区、静态分区以及动态分区三种虚拟分区可分为逻辑分区、微分区。APP1 HW1OS1 APP2 APPn虚拟分区APP3HW3OS3APP1HW1OS1 APP1HW1OS1物理分区 OS2 OSn IBM POWER服务器应用模式System P 服务器在一般的计算环境中，都是以虚拟化的方式出现。HMC(Hardware Management Console，硬件管理控制台 ) 和 IVM(Integrated Virtualization Manager，集成虚拟化管理器 )、Systems Director 为实现服务器的虚拟化提供了强有力的支持。 通过HMC管理服务器 通过IVM管理服务器通过Director管理服务器 POWER System分区技术LPAR、DLPAR、VPAR逻辑分区（LPAR）就是将单台服务器划分成多个逻辑服务器，彼此运行独立的应用程序。每个 LPAR 拥有自己的 CPU、内存和 I/O 设备分配。此类分区是在固件级别而不是在物理资源级别进行的。每个 LPAR 包含自己的操作系统。然而，逻辑分区也有些限制，如要增加或删除资源，必须停止逻辑分区的运行，然后重新引导分区。动态逻辑分区 (DLPAR)则允许在不中断应用操作的情况下，增加或减少分区占用的资源，为计算环境提供了很大的灵活性。微分区也是一种逻辑分区，是在 Power 5 及以后处理上使用的技术，它对 CPU 的划分粒度更细了，每颗CPU 可以等分成多个具有相同处理能力的 Entitle Unit，而每个分区最少可以分配 0.1 个 Entitle Unit。使用微分区技术对 CPU 资源的划分更加灵活了，提高了 CPU 资源的利用率。POWER 系统管理程序(Hypervisor)控制分配物理处理器资源给每个共享的处理器分区。 LPAR的问题 Unassigned on demandresources Hypervisor LinuxpartitionsIBM iAIX V5.3 partitions Virtual StorageVirtualI/OServerWorkload management and provisioningVirtual NetworksVirtual ProcessorsAIX V6 partitions VEnetVSCSIIVM*LinuxKernelsAIX KernelsVirtual Network / StorageAIX / WPARSKernels SLIC逻辑分区/微分区的原理和问题 IBM的虚拟化在系统最底层使用Hypervisor实现分区资源的划分，一个mini的AIX操作系统，逻辑分区下，其CPU/内存资源在一个资源池中进行分配，而IO板卡和内置存储资源也需要统一由Hypervisor进行管理。因此，从体系架构上无法做到真正的分区之间的电气隔离，在分区的安全性和稳定性上存在风险。因一个分区的故障导致整机宕机的情况在电信、银行行业中也有发生。 微分区的部署模式下，需要额外使用1-2个逻辑分区安装VIOS(虚拟IO服务器)，用于处理微分区之间的IO资源的共享使用，但内存/CPU资源由Hypervisor统一管理调配，如果用于存储VIOS核心的内存出现物理故障，有很大可能导致VIOS分区宕机，从而导致所有微分区的IO出现故障而宕机。单点故障风险非电气隔离，分区故障容易引起整机宕机 浪潮天梭K1系统分区技术u硬件分区：浪潮天梭K1系统可选择硬件分区技术，单一分区（节点）装载单一操作系统，各个分区拥有独自的资源。u应用容器：浪潮天梭K1系统可以实现在同一操作系统内将不同应用隔离起来，实现不同应用之间的隔离。APP1 HW1OS1APP3HW3OS3APP1HW1OS1 硬件分区APP1HW1OS1 APP2 APPn应用容器 硬件分区、应用容器技术优势u最高级别可靠性：分区与分区之间完全电气隔离，一个分区出现的软件或者资源故障对其他分区没有任何影响，最高级别的可靠性。u降低总体拥有成本：分区的功能降低了总体拥有成本。硬件分区应用容器u一定级别的可靠性：实现在同一操作系统上不同应用的隔离。u更高程度的灵活性：硬件资源可被所有应用程序共享，资源配置 更灵活。 目录 小型机历史及定义各厂商小型机内部构造小型机体系结构及分区技术小型机CPU介绍小型机操作系统小型机与x86服务器对比 u 复杂指令集- CISC(Complex Instruction Set Computer）u X86系统u IA-32、 EM64T、AMD64u 精简指令集- RISC（Reduced Instruction Set Computing ）u Power 、SPARC处理器（IBM 、oracle小型机）u 专用平台、专用系统u 大型应用后台密集集中处理u 显式并行指令集-EPIC(Explicitly Parallel Instruction Computers） u IA-64 安腾 处理器（Hpsuperdome、浪潮K1关键应用计算机）u 大型应用后台密集集中处理u 专用平台、专用系统 CPU指令集分类 CPU指令集比较比较内容 RISC/EPIC CISC指令系统 简单、精简 复杂、庞大指令数目 通常小于100 通常大于200指令格式 通常小于4 通常大于4寻址方式 通常小于4 通常大于4指令字长 等长 不固定各种指令使用频率 相对平均 相差较大各种指令执行时间 绝大多数在一个周期内完成 相差较大优化编译实现 易实现 相对困难如今CISC和RISC/EPIC指令集之间也相互学习，CISC 指令也不随意增加，大部分指令也能在一个时钟周期内完成。RISC也设计了一些复杂的指令，允许在更多时钟周期内完成。 各厂商小型机CPU浪潮和惠普使用的为Intel的安腾系列CPUIBM 主要为POWER系列CPUOracle主要为SPARC的T系列和M系列CPU Intel安腾系列处理器的市场定位是在于企业级服务器与高效能运算系统。面向商业智能分析、数据库、大型内存应用、云计算等最繁重的应用领域。商业智能分析 数据库 云计算大型内存应用 关键业务顶级计算能力 针对UNIX与大型主机系统优化设计 采用安腾CPU的UNIX操作系统运行数据库、数据仓库、大型ERP 等应用测试，证实了安腾CPU的超级计算能力关键数据终极保护 安腾CPU集成了多种容错技术，处理器可自动检测并从多种错误中恢复 另外安腾CPU在设计过程中始终将错误预防放在首要位置，很多错误在电路设计层面就被避免 安腾CPU具有一系列的RAS特性，保证了数据完整性功耗智能管理 Intel独有的睿频加速技术提供了先进的功耗监控和管理功能，最大化平衡了处理器性能和功耗 支持内存动态时钟，降低了系统功耗 Common Enterprise Benchmarks相对于9300系列处理器有了巨大提升整体性能提高2.4倍 2倍的核数，2倍的指令吞吐量主频提升40%，I/O速率提升33%功耗降低8%，待机功耗降低80%关键创新技术 Intel 指令重试 Intel 超线程技术, 增强的双域多线程支持 Intel Itanium 处理器新指令 53 4 bundle, 1 2 -wide issue pipelineIntel Itanium 处理器新指令自适应预加载8核心总共5 4 MB高速缓存Intel 超线程技术，双域多线程支持 1 2 3 45 6 7 8 线程并行核心并行内存并行指令并行Itanium 9500 无处不在的并行技术 5 4 大量的内存访问6 4 b可寻址能力5 0 b 物理寻址目录一致性目录缓存有效的可伸缩性Itanium 9500 支持大型企业系统 5 5增加或减少系统容量高效的 CPU, IOH, Memory 维修和升级Electrically Isolated Partitions 硬件分区热插拔动态容量改变业务连续性永不停顿 5 6 更完整的错误处理-HW/SW 恢复机制缓存线路错误预测处理扩大保护-增加误差修正功能重试指令自动恢复Intel 指令重试技术端到端的错误检测Intel 缓存安全技术完整的固件错误处理-MACItanium RAS 有助于提供不间断的弹性00011011 指令重试特性可显著改善系统的可用性在不同阶段能够侦测到更多的错误 在指令缓存池里的错误的指令会被重新执行以使系统从严重错误中恢复过来Intel 指令重现技术能够避免系统宕机和数据崩溃指令缓存池 重试路径 支持双域多线程可显著增强处理器性能 最小化了传统安腾多线程实现过程中线程转换的成本 并行指令的执行最大化提高了指令执行的效率后端前端 Instruction Buffer 特有的EPIC架构增加了整体指吞吐率指令缓存池 Poulson 的架构和新指令为安腾计算的未来打下基础Individual Poulson CoreBuffersFloating Point ExecutionInteger Execution1st level Cache1st level Cache BranchPredict InterfaceLogic1st level CacheMid-Level Inst. Cache Pipe Line Control Mid-Level Data CacheInstruction Queues BuffersInteger Register Floating Pt RFBRCTL线程控制 hintpriority扩展软件预取 ifetch.count扩展的据访问提示 mov dahr Poulson 继承并优化了以往安腾系列CPU的代码，没有重新编译 新指令简化了常见任务和分支操作帮助未来安腾性能更上一层楼 Core0 Core1 Core7 Core0 Core1 Core7Frequency All cores operate at rated frequency All cores operate at higher frequency8C TurboNormal Core0 Core1 Core7 Core0 Core1 Core3 Core5 Core6Activity LevelAll cores operate at highest activity level Independent core control for highest overall performanceOptimizing varying demandsNormal Core2 Core4 Core7智能睿频加速技术普通的睿频加速Itanium 9300 Itanium 9500智能睿频加速技术提供更加细粒度的性能优化，能够使任意指定的核心的性能最优 Itanium 关键价值总结 6 1 世界领先的系统弹性可扩展的性能系统级别创新 Intel 指令重试技术, 端到端错误检测和固件错误处理 支持硬件分区的先进的虚拟化技术 基于内置冗余的自动错误检测和恢复技术的soft-Error保护 Itanium 9500 系列高达2.4倍的性能提升 先进的EPIC架构 支持大内存寻址(50/64 PA/VA) 可伸缩性的节点控制 世界领先的Unix平台 先进的系统提供无缝的故障迁移和系统重新配置 集成管理和固件故障预测分析和根源分析支持安腾9500 提供企业级的性能和系统弹性 对于K1 930 950，由于每节点有四颗CPU，因此在配置CPU时以四颗为单位。K1 910支持9500系列处理器，支持2路、4路、6路、8路配置，2路配置时只支持6个PCIE插槽。9300和9500系列处理器中，主推 9500系列处理器，9500系列处理器中，9540性价比最高，主推9540CPU，对于主频和性能要求较高的应用，推荐9560CPU。 POWER7(+) 处理器POWER7COREL2 Cache POWER7COREL2 Cache POWER7COREL2 CachePOWER7COREL2 Cache POWER7COREL2 CachePOWER7COREL2 Cache POWER7COREL2 CachePOWER7COREL2 CacheL3 Cache and Chip I nterconnect MC1MC0 Local SMP Links Remote SMP 对用户而言,如同多个程序并行执行. 内核中的进程管理包括进程调度,负载均衡及进程间通信 CPUSET：提供多种功能，可以用来设置进程的与CPU的绑定关系，迁移进程至指定的CPU上执行，指定一个 程序在某个CPU上运行等。 故障管理子系统Fault Manager System（简称FMS）：提供了一套完整灵活的体系结构，用于错误检测，自动诊断，代理响应（包括隔离、恢复和修复），拥有结构化的事件驱动机制，实现预测性自我修复能力。FMS实现对系统组件（包括CPU，内存和I/O子系统）有效管理，当检测到错误后，能够及时诊断并处理。从而，保证系统可以在出现某些底层故障的情况下继续运行。 事件库 规则库事件1规则C事件2规则D事件3规则A 事件4规则B 规则A规则B规则C规则D24小时内出现6次报错 系统硬件 规则执行完毕，将故障内存进行隔离 故障侦测MCASMART 监控软件 侦测 事件比对 指针跳转 应用容器子系统 应用容器是由操作系统管理的、具有特定资源的虚拟运行环境。容器技术有效地将由单个操作系统管理的资源灵活地划分到独立的虚拟运行环境中，以实现高效地资源分配和故障隔离。 K-UX操作系统应用容器已经实现了处理器占用率、内存总量等多种系统资源的动态设置。与虚拟机技术不同，所有应用容器直接运行在同一操作系统，无需虚拟监控层的管理，容器向应用程序提供虚拟的操作系统视图，而非物理机器。 应用容器仅消耗极少的系统资源，使用K-UX操作系统应用容器带来 的性能损失不超过3%。 目录 小型机历史及定义各厂商小型机内部构造小型机体系结构及分区技术小型机CPU介绍小型机操作系统小型机与x86服务器对比 小型机与x86服务器比较u体系结构：通常小型机为了提供更快的处理速度、更稳定的系统，在进行设计的时候比低端考虑更多，例如为了支持更多的最大CPU数量、更宽的总线、更多的热插拔设备支持、更高的设备冗余度。低端服务器在设计的过程中，相应的标准降低了很多。 小型机与x86服务器比较uCPU： 小型机CPU采用的指令集是RISC或者EPIC指令集，此类指令集特点为指令执行效率更高，速度更快，一般此类CPU更适合OLAP和OLTP类应用。 在CPU的RAS特性方面，Intel至强CPU和Intel安腾及IBM Power CPU所支持的RAS特性数量方面基本持平，但在“逻辑数据完整性检测”、“不可纠错数据恢复”等关键性指标方面，Intel至强CPU仍存在一定差距。 小型机与x86服务器比较u扩展性：目前普通的x86服务器由于CPU架构和芯片组限制，最大支持8颗CPU处理器，小型机目前市场上普遍最大支持32颗CPU，这种超级的并行能力把X86服务器远远抛在后面。另外小型机支持更多I/O接口，为小型机提供IO支持，可以提供足够的带宽将处理结果从网络发送出去或者保存到磁盘，更适合OLTP类应用。 小型机与x86服务器比较u操作系统： 现在各个厂家的小型机都会装载特有的UNIX操作系统，因此厂家可以针对硬件对操作系统进行优化，充分发挥每颗CPU的能力，这本身需要非常复杂的技术。 另外操作系统还可以对内存的进程进行管理，如果某个进程有问题（比如死循环），可能会把系统的资源耗尽。UNIX在设计之初就是为更好地协调多用户、多进程之间的调度而设计的，通常可以更好地控制这些耗资源的进程，在各个进程之间合理地分配CPU处理能力。最后，UNIX一般不提供很复杂的多媒体、图形界面、而这些绚丽的用户界面却是CPU和内存消耗大户。 小型机优势与x86服务器比较u整机稳定性： 处理器RAS 内存RAS 整机RAS 操作系统RAS CPURAS内存RAS整机RAS操作系统RAS 小型机与x86比较u服务：由于小型机性能、可靠性和扩展能力的原因，更多地被用在一些要求苛刻的商业环境里，例如银行、通信的记账/账务部门、生产流水线控制。在这些领域，要求7*24小时连续运行，单机达到全年99.999%的可用性。因此小型机厂家一般提供三年的7*24小时的服务 小型机与x86比较总结比较内容 X86服务器 小型机体系结构 一般为SMP，性能与扩展性有瓶颈 普遍采用专业体系架构并融入制造厂商的专利技术，保证了性能和扩展性。CPU 多为X86 CPU，性能和RAS特性一般 为RISC/EPIC CPU，效率高，性能好，RAS特性多扩展性 处理器最多支持8颗，I/O接口及速率一般 处理器最大支持32颗甚至更多，I/O接口多，带宽高 操作系统 多为Linux或Windows操作系统 Unix操作系统，安全性高，性能好整机稳定性 由于兼容性考虑，整机稳定性差 结构设计、CPU、内存、操作系统等全方位稳定性设计服务 一般三年5*8，不上门服务 一般三年7*24小时，上门服务 谢 谢 !