《云计算体系及关键》PPT课件.ppt

《《云计算体系及关键》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《云计算体系及关键》PPT课件.ppt（50页珍藏版）》请在装配图网上搜索。

1、云计算体系及关键技术,云计算是分布式计算（Distributed Computing），并行计算（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现。云计算的基本原理是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似，这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。 云计算系统运用了许多技术，其中以并行编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。,云计算的体系结构,按需部署是云计算的核心。要解决按需部署，必须解决

2、资源的动态可重构、监控和自动化部署等，而这些又需要以虚拟化、高性能在存储、处理器、高速互联网等技术为基础。 为了有效支持云计算，其体系结构必须支持几个关键特征。首先，系统必须是自治的，即需要内嵌有自动化技术，以减轻或消除人工部署和管理任务，而允许平台智能地响应应用的要求；其次，云计算的架构必须是敏捷的，能够对需求信号或变化做出迅速的反应。内嵌的虚拟化技术和集群化技术，能应付增长或服务级要求的快速变化。,云计算的体系结构（续）,云计算平台是一个强大的“云”网络，连接了大量并发的网络计算和服务，可利用虚拟化技术扩展每一个服务器的能力，将各自的资源通过云计算平台结合起来，提供超级计算和存储能力。通用

3、的云计算体系结构如下图所示。,云计算的体系结构（续）,云计算的体系结构（续）,（1）用户界面：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。打开应用实例与本地操作桌面系统一样。 （2）服务目录：云用户在取得相应权限（付费或其他限制）后可以选择或定制服务列表，也可以对已有的服务进行退订操作，在云用户端界面生成相应的图标或列表来展示相关的服务。,云计算的体系结构（续）,（3）管理系统：用于管理可用计算资源和服务，能管理云用户，能对用户的授权、认证和登录进行管理，并可以管理可用计算资源和服务，接收用户发送的请求，并根据用户请求转发到

4、相应的应用程序。 （4）部署工具：自治的，根据用户请求智能地部署资源和应用，动态地部署、配置和回收资源。,云计算的体系结构（续）,（5）监控：监控和计量云系统资源的使用情况，以便做出迅速瓜，完成节点同步配置、负载均衡和资源监控，确保资源能顺利分配给合适的用户。 （6）服务器集群：虚拟的或物理的服务器由管理系统管理，负责高并发量的用户请求处理、大运算量计算处理、用户Web应用服务，云数据存储时采用相应数据切割算法以并行方式上传和下载大容量数据。,云计算的体系结构（续）,云计算技术体系结构和云计算体系结构不是一个概念，后者从服务的角度来划分云，主要突出了云服务能给用户带来什么，而云计算的技术体系结

5、构主要从系统属性和设计思想角度来说明云，是对软硬件资源在云计算技术中所充当角色的说明。从云计算技术角度来分，云计算大致由物理资源、虚拟化资源、中间件管理部分和服务接口4部分构成，如下图所示。,自动化部署,自动化部署，是指通过自动安装和部署，将计算资源从原始状态变为可用状态。在云计算中体现为将虚拟资源池中的资源进行划分、安装和部署成可以为用户提供各种服务和应用的过程，其中包括硬件（服务器）、软件（用户需要的软件和配置）、网络和存储。系统资源的部署有多个步骤，自动化部署通过调用脚本，实现不同厂商设备管理工具的自动配置、应用软件的部署和配置，确保这些调用过程可以以默认的方式实现，免除了大量的人机交互

6、，使得部署过程不再依赖人工操作。整个部署过程基于工作流来实现，如下图所示。,自动化部署（续）,工作流引擎和数据模型是在自动化部署管理工具中,涉及的功能模块，通过将具体的软硬件甚至逻辑概念定义在数据模型中，管理工具可以标识并在工作流中调度这些资源，实现分类管理。工作流引擎是调用和触发工作流实现部署自动化的核心机制，自动将不同种类的脚本流程整合在一个集中、,可重复使用的工作流数据库中。这些工作流可以自动完成原来需要手工完成的服务器、操作系统、中间件、应用程序、存储器和网络设备的配置任务。,资源监控,云计算通常具有大量服务器，并且资源是动态变化的，需要及时、准确、动态的资源信息。资源监控可以为“云”

7、对资源的动态部署提供依据，并有效监控资源的使用情况和负载情况。资源监控是实现“云”资源管理的一个重要环节，它可提供对系统的实时监控，并为其他子系统提供系统性能信息，以便更好地完成系统资源的分配。云计算通过一个监视服务器监控和管理计算资源池中的所有资源，并通过在云中的各个服务器上部署代理程序（Agent），配置并监视各资源服务器，定期将资源使用信息数据传送至数据仓库，监视服务器数据仓库中“云”资源的使用情况，对数据进行分析及跟踪资源的可用性，为排除故障和均衡资源提供信息。,虚似化技术,虚拟化技术的发展史 1959年，克里斯托弗（Christopher Strachey）发表了一篇学术报告，名为“

8、大型高速计算机中的时间共享”（Time Sharing in Large Fast Computers）,他在文中提出了虚拟化的基本概念，这篇文章也被认为是虚拟化技术的最早论述。可以说虚拟化作为一个概念被正式提出即是从此时开始的。,虚似化技术（续）,最早在商业系统上实现虚拟化的是IBM公司在1965年发布的IBM7044。它允许用户在一台主机上运行多个操作系统，让用户尽可能充分地利用昂贵的大型机资源。 随着X86平台处理能力与日俱增,1999年,VMware在X86平台上推出了可以流畅运行的商业虚拟化软件。,虚似化技术（续）,从2006年到现在，可以说是进入了虚拟化技术的爆发期。诸多厂商如雨后

9、春笋般涌现，例如微软收购了Connectix获得虚拟化技术后很快推出Virtual Server免费版并在2008年年底推出了Hyper-V。,虚似化技术（续）,虚似化（Virtualization）技术是云计算系统的核心组成部分之一，是将各种计算及存储资源充分整合和高效利用的关键技术。 虚拟机技术是在一个物理主机上创建一个或多个可执行环境的技术。每个虚拟机代表了一个潜在的物理主机的实例，并且互不干扰。这种隔离的属性使虚拟机可以成为安全系统和错误容忍应用程序的基石。 通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源，可以为一组类似资源提供一个通用的抽象接口集，从而隐藏属性和操作之间的

10、差异，并允许通过一种通用的方式来查看和维护资源。,虚似化技术（续）,例如： AVM，一个基于Windows的操作系统层虚拟机体系结构。AVM虚拟机的主要思想是命名空间虚拟化（Namespace Virtualization），即在系统调用接口通过AVM的虚拟层重命名系统资源。当一个进程通过系统调用访问资源时，AVM层可以操纵这些资源的名字。通过重命名资源，处于不同虚拟机中的程序看到的资源名字完全不一样，这样，两个虚拟机绝不会共享任何资源，相互之间也没有直接影响。,虚似化技术（续）,所谓虚拟化，是指将单台电脑软件环境分割为多个独立分区，每个分区均可以按照需要模拟电脑的一项技术。它的技术实质是通过

11、中间层次实现计算资源的管理和再分配，使资源利用实现最大化。虚拟化分区带来的最大好处是使同一个物理平台能够同时运行多个同类或不同类的操作系统，以分别作为不同业务和应用的支撑平台。,虚似化技术（续）,虚拟化技术分类 虚拟化技术经过数年的发展，已经成为一个庞大的技术家族，其技术形式种类繁多。 以实现层次来划分：硬件虚拟化、操作系统虚拟化、应用程序虚拟化；以被应用的领域来划分：服务器虚拟化、存储虚拟化、应用虚拟化、平台虚拟化、桌面虚拟化。,虚似化技术（续）,1、从实现层次来划分 （1）基于硬件的虚拟化 硬件虚拟化就是用软件来虚拟一台标准计算机的硬件配置，如CPU、内存、硬盘、声卡、显卡、光驱等，成为一

12、台虚拟的裸机，然后就可以在上面安装操作系统了。 其代表产品为VMware，其余几个知名的有有软件包的Virtual PC、开源免费的VirtualBox。,虚似化技术（续）,为虚拟机分配的硬件资源要占用实际硬件的资源，对性能损耗也较大。因为是在系统里安装虚拟化软件，再在虚拟的计算机上装系统，所以就有原系统和虚拟化软件两层消耗，为了提高性能，出现了另外一种硬件虚拟化形式：直接在裸机上安装虚拟化软件，然后安装多个系统，并同时运行。,虚似化技术（续）,（2）基于操作系统的虚拟化 操作系统虚拟化就是以一个系统为母体，克隆出多个系统。它比硬件虚拟化要灵活方便，因为只需在系统里装一个虚拟化软件，就能以原系

13、统为样本很快克隆出系统，克隆出的系统与原系统除一些ID标识外，其余都一样。,虚似化技术（续）,与硬件虚拟化的不同之处： 操作系统虚拟化是以原系统为样本，虚拟出一个近乎一模一样的系统；硬件虚拟化是虚拟硬件环境，然后真实地安装系统。它们虚拟的东西不一样。 操作系统虚拟化虚拟的系统都只能为同样的系统；硬件虚拟化虚拟的系统可以为不同的系统，如Linux、Mac、Windows家族。,虚似化技术（续）,操作系统虚拟化虚拟的多个系统有较强的联系，体现在：可以为多个虚拟系统同时进行配置，更改了原系统就改了所有；如果原系统损坏，会殃及所有虚拟系统。硬件虚拟化虚拟的多个系统是相互独立的，与原系统也无联系，原系统

14、的损坏不会殃及虚拟的系统。 操作系统虚拟化的性能损耗低，它们都是虚拟的系统，而非硬件虚拟化那样真实安装的实体，没有硬件虚拟化的虚拟硬件层，也大大降低了性能损耗。,虚似化技术（续）,（3）基于应用程序的虚拟化 前两种虚拟化技术大多应用于企业、服务器和一些IT专业工作领域。随着虚拟化技术的发展，逐渐从企业往个人、往大众应用的趋势发展，便出现了应用程序虚拟化技术，简称应用虚拟化 。 前两种虚拟化的目的是虚拟完整的真实的操作系统，应用虚拟化的目的也是虚拟操作系统，但只是为保证应用程序的的运行虚拟系统的某些关键部分，如注册表、C盘环境等，所以较为轻量、小巧。,虚似化技术（续）,应用虚拟化技术的兴起最早也

15、是从企业市场而来。一个软件被打包后，通过局域网很方便地分发到企业的几千台计算机上去，不用安装，直接使用，大大降低了企业的IT成本。 应用虚拟化技术应用到个人领域，可以实现很多非绿色软件的移动使用，如CAD、3ds Max、Office等；可以让软件免去重装烦恼，不怕系统重装。,虚似化技术（续）,2、从应用的领域来划分 （1）服务器虚拟化 服务器虚拟化技术可以将一个物理服务器虚拟成若干个服务器使用。服务器虚拟化是基础设施即服务（ Infrastructure as a Service，IaaS）的基础。,虚似化技术（续）,服务器虚拟化需要具备以下功能和技术。 多实例： 隔离性： CPU 虚拟化：

16、 内存虚拟化： 设备与I/O虚拟化： 无知觉故障恢复： 负载均衡： 统一管理： 快速部署：,虚似化技术（续）,（2）存储虚拟化 存储虚拟化的方式是将整个云系统的存储资源进行统一整合管理，为用户提供一个统一的存储空间。 存储虚拟化具有集中存储和分布式扩展等功能和特点。,虚似化技术（续）,（3）应用虚拟化 应用虚拟化是把应用对底层系统和硬件的依赖抽象出来，从而解除应用与操作系统和硬件的耦合关系。应用程序运行在本地应用虚拟化环境中时，这个环境为应用程序屏蔽了底层可能与其他应用产生冲突的内容。应用虚拟化是SaaS的基础。,虚似化技术（续）,（4）平台虚拟化 平台虚拟化是集各种开发资源虚拟出的一个面向开

17、发人员的统一接口，软件开发人员可以方便地在这个虚拟平台中开发各种应用并嵌入到云计算系统中，使其成为新的云服务供用户使用。,虚似化技术（续）,（5）桌面虚拟化 桌面虚拟化将用户的桌面环境与其使用的终端设备解耦。服务器上存放的是每个用户的完整桌面环境。用户可以使用具有足够处理和显示功能的不同终端设备通过网络访问该桌面环境。,并行编程模型,为了使用户能更轻松地享受云计算带来的服务，让用户能利用编程模型编写简单的程序来实现特定的目的，云计算上的编程模型必须十分简单，必须保证后台复杂的并行执行与任务调度向用户和编程人员透明。,并行编程模型（续）,云计算大部分采用MapReduce的编程模式。 MapRe

18、duce是Google开发的Java、C+编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于ITB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的总是分解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇总输出。,并行编程模型（续）,并行编程模型（续）,MapReduce作为一种较为流行的云计算编程模型，在云计算系统中应用广泛。但是基于它的开发工具Hadoop并不完善。特别是其调度算法过于简单，

19、降低了整个系统的性能。改进MapReduce是将来一段时间的主要发展方向。另外，将MapReduce的思想运用在云计算以外的其他方面也是一个流行的研究方向。,海量数据分布存储技术,云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的 GFS的开源实现HDFS。 Google已经针对不同的应用部署了多套GFS集群。最大的一个集群拥有超过1000个存储节点，超过300TB的硬盘空间，被不同机器上的数百个客户端连续不断的频繁访问。,海量数据分布存储

20、技术（续）,一个GFS集群包含一个单独的Master节点，多台Chunk服务器，并且同时被多个客户端访问。,海量数据分布存储技术（续）,Master存放文件系统的所有元数据包括名字空间、存取控制、文件分块信息、文件块的位置信息等。GFS中的文件切分为64MB的块进行存储。 在GFS文件系统中，采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所有备份处于一致的状态。,海量数据分布存储技术（续）,云计算的数据存储技术并不仅仅只是GFS，其他IT厂商，包括微软、Hadoop开发团队也在开发

21、相应的数据管理工具。其本质上是一种分布式的数据存储技术，以及与之相关的虚拟化技术。,海量数据管理技术,云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必须能够高效地管理大量数据。云计算系统中的数据管理技术主要是Google的BT（BigTable）数据管理技术和Hadoop团队开发的开源数据管理模块HBase。,典型的云计算系统平台实例分析,云计算两个方面的含义：一方面描述了基础设施，用来构造应用程序，其地位相当于PC上的操作系统；另一方面描述了建立在这种基础设施之上的云计算应用。,云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算平台。现有的云计算实现使用的技术体现了以

22、下3个方面的特征。 硬件基础设施架构在大规模的廉价服务器集群之上。与传统的性能强劲但价格昂贵的大型机不同，云计算的基础架构大量使用了廉价的服务器集群，特别是X86架构的服务器。 应用程序与底层服务协作开发，最大限度地利用资源，传统的应用程序建立在完善的基础结构，如操作系统之上，利用底层提供的服务来构造应用。而云计算为了更好地利用资源，采用了底层结构与上层应用共同设计的方法来完善应用程序的构建。 通过多个廉价服务器之间的冗余，使软件获得高可用性。由于使用了廉价的服务器集群，节点的失效将不可避免，并且会有节点同时失效的问题。为此，在软件设计上需要考虑节点之间的容错问题，使用冗余的节点获得高的可用性

23、。,Google的云计算平台,Google的硬件条件优势，以及大型的数据中心、搜索引擎的支柱应用，促进Google云计算迅速发展。Googler 的云计算主要由MapReduce、Google文件系统（GFS）、BigTable组成。它们是Google内部云计算基础平台的3个主要部分，俗称谷歌三宝。,IBM“蓝云”计算平台,IBM的“蓝云”计算平台是一套软、硬件平台，将Internet上使用的技术扩展到企业平台上，使得数据中心使用类似于互联网的计算环境。“蓝云”大量使用了IBM先进的大规模计算技术，结合了IBM自身的软、硬件系统以及服务技术，支持开放标准与开源代码软件。“蓝云”基于IBM Al

24、maden研究中心的云基础架构，采用了Xfen 和PowerVM虚拟化软件、Linux操作系统映像以及Hadoop软件（Google File System以及MapReduce的开源实现）。I,IBM“蓝云”计算平台（续）,“蓝云”计算平台由一个数据中心、IBM Tivole部署管理软件(Tivole provisioning manager)、IBM Tivole监控软件（IBM Tivoli monitoring）、IBM WebSphere应用服务器、IBM DB2数据库以及一些开源信息处理软件和开源虚拟化软件共同组成。,Amazon的弹性计算云,Amazon是互联网上最大的在线零售商

25、，每天负担着大量的网络交易，同时Amazon也是独立软件开发人员以及开发商提供云计算服务平台。Amazon将他们的云计算平台称为弹性计算云，是最早提供远程云计算平台服务的公司。Amazon将自己的弹性计算云建立在公司内部的大规模集群计算的平台上，而用户可以通过弹性计算云的网络界面面云计算平台上运行的各个实例（instance）。用户使用实例的付费方式由用户的使用状况决定，即用户只需为自己所使用的计算平台实例付费，运行结束后计费也随之结束。,微软Windows Azure平台,Windows Azure Platform是一个运行在微软数据中心的云计算平台。它主要包括一个托管应用的云计算操作系统

26、和一个为开发者提供的服务集合。开发人员可以针对该平台来创建自己的应用，并将自己创建的应用直接部署在该平台上。 Windows Azure Platform包括三大部分，即Windows Azure（云操作系统）、SQL Azure（数据库）和Windows Azure Platform AppFabric（应用服务）,开源的Hadoop,Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop，是一个模仿Google MapReduce架构的基于JAVA编程的开源软件。它包括HDFS（分布式文件系统）、MapReduce以及HBase（分布式数据库）。,