基于linux集群的云服务的技术设计与实现-毕设论文

《基于linux集群的云服务的技术设计与实现-毕设论文》由会员分享，可在线阅读，更多相关《基于linux集群的云服务的技术设计与实现-毕设论文（68页珍藏版）》请在装配图网上搜索。

1、硕士学位论文中文论文题目：基于云环境的DMOC技术应用实践英文论文题目：Practice of Cloud-based DMOC Technology 基于云环境的DMOC技术应用实践申婷婷浙江大学 基于云环境的DMOC技术应用实践 论文作者签名: 指导教师签名: 论文评阅人1： 评阅人2： 评阅人3： 评阅人4： 评阅人5： 答辩委员会主席： 委员1： 委员2： 委员3： 委员4： 委员5： 答辩日期： Practice of Cloud-based DMOC Technology Authors signature: Supervisors signature: Thesis review

2、er 1： Thesis reviewer 2： Thesis reviewer 3： Thesis reviewer 4： Thesis reviewer 5： Chair： (Committee of oral defence)Committeeman 1： Committeeman 2： Committeeman 3： Committeeman 4： Committeeman 5： Date of oral defence： 浙江大学研究生学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经

3、发表或撰写过的研究成果，也不包含为获得 浙江大学 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名： 签字日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解 浙江大学 有权保留并向国家有关部门或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权 浙江大学 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名： 导师签名：签字日期： 年 月 日 签字日期： 年 月 日浙江大

4、学硕士学位论文 摘要摘要随着云计算产业的不断发展，云计算的概念在不断的被否认与被认可中走向清晰。由于云计算可以满足现有企业对大数据处理的需求，各大企业在现有认识的基础上，竞相加大对云计算的投入，由云计算衍生出的云计算平台的构建、云计算应用的开发、云服务模式的实现发展势头迅猛。另外，随着本地化客户端走向衰退，人们希望能够随时随地获取数据。作为计算应用的新模式，为IT行业的发展带来重大变革从始至终一直是人们对云计算持有的梦想。云计算以其高效性、可靠性、可扩展性和高负载能力也越来越多的被企业和个人采纳利用。基于云计算的应用已经通过多种云服务模式的实现为行业发展带来了重大改变。本文主要通过对SAP的云

5、计算应用DMOC产品的介绍，首先针对当下流行的云计算服务模式进行探讨，通过分析不同服务模式的利弊，引出本文DMOC产品采用的云服务模式；其次，通过对云计算平台技术的研究，以及对DMOC产品开发所需应用技术的详细探讨，推导出实现产品开发的整体框架并付诸于实践；再次，云计算的安全性问题一直是云计算发展过程中最为引人注目的问题，本文使用大量笔墨对云计算的安全性实现进行了详细研究，从集群、单点登录、授权机制以及安全监察等方面全面阐述了云计算的安全性在DMOC产品中的实现，为今后云应用的安全性开发提供参考；最后，通过安全性测试结果进一步证实了产品能够实现对业务处理的安全保障。关键词：云计算，云服务，SA

6、ML,安全性，集群，PaaSi浙江大学硕士学位论文 AbstractAbstractWith the continuous development of the cloud computing industry, the concept of cloud computing is becoming clear by continuous denying and recognizing. Cloud computing can meet the current big data processing needs, so a variety of major companies are compe

7、ting to increase investment in cloud computing on the basis of existing knowledge. The deployment of cloud computing platform, the development of cloud computing technology and the implementation of cloud services all derived from cloud computing are achieving rapid development. In addition, with lo

8、calized client toward recession, people want to be able to get data anytime, anywhere they want. Cloud computing is regarded as a new model of computing application, wishing it bring big changes to IT industry has been a long-held dream. Cloud computing with its efficiency, reliability, scalability

9、and high load capacity, has been more and more widely accepted. The cloud-based applications have brought a significant change to the development of the industry through a variety of cloud service models. In this paper, by the introduction of the SAP cloud computing applications DMOC products, first

10、ly, we explore the current popular cloud service model, leads to the reason why the DMOC product uses the specified cloud service model by analyzing the advantages and disadvantages of the different service models; Secondly, through the study of the cloud computing technology and the detailed explor

11、ation of application technology on the DMOC product development required, derive the product framework and put them into practice; Thirdly, the security of cloud computing is the most striking problem of the development process, we use a lot of ink to show a detailed study on the security implementa

12、tion, through a comprehensive exposition of the security in terms of cluster, single sign-on, authorization mechanisms, as well as security monitoring, the paper gives the methods to realize cloud application security development; Finally, the safety testing results further confirm that the product

13、can achieve the safety and security of the business process.Key Words：cloud computing, cloud services, SAML, security, cluster, PaaSii浙江大学硕士学位论文 目录目录摘要iAbstractii图目录IV表目录V第1章 绪论11.1 研究背景11.1.1 云计算的产生11.1.2 云计算的现状31.1.3 云计算的机遇41.1.4 云计算的挑战51.1.5 云计算的未来51.2 研究内容61.3 研究目标61.4 本章小结6第2章 DMOC产品介绍72.1 Data

14、 Management产品介绍72.1.1 DM产品局限性72.1.2 DMOC产品的提出82.1.3 DMOC产品组成92.2 本章小结10第3章 应用技术介绍113.1 云服务113.1.1 PaaS云服务模式113.1.2 IaaS云服务模式113.1.3 SaaS云服务模式123.1.4 云服务模式比较123.1.5 DMOC的JPaaS模式133.2 单点登录技术143.2.1 SAML模型143.3 Linux集群153.3.1 集群的定义和分类153.3.2 负载均衡集群163.3.3 JMS消息中间件ActiveMQ173.3.4 ActiveMQ与集群183.4 本章小结20

15、第4章 DMOC设计214.1 DMOC总体设计214.2 DMOC服务器框架设计224.3 DMOC安全云设计234.3.1 数据库设计244.3.2 集群设计254.3.3 单点登录模块设计264.4 本章小结31第5章 DMOC服务器安全技术实现325.1 云计算的安全性325.2 集群实现325.2.1 负载均衡325.2.2 JMS实现325.3 安全的云365.3.1 单点登录实现365.3.2 授权机制395.3.3 安全监察405.4 实现展示415.5 本章小结43第6章 DMOC服务器集群的部署和测试446.1 部署方案446.2 部署步骤446.3 测试456.3.1 功

16、能测试466.3.2 性能测试476.3.3 兼容性测试486.3.4 安全测试486.4 本章小结51第7章 总结与展望527.1 本文完成的主要研究工作527.2 展望527.2.1 一键部署537.2.2 升级部署537.3 本章小结54参考文献55作者简历57致谢58II浙江大学硕士学位论文 表目录图目录图1.1 云产业链5图3.1 三种云服务模式的在灵活性上的比较12图3.2 JDBC master/slave 部署模型19图3.3 master失效模型19图3.4 slave成为master模型20图4.1 DMOC框架21图4.2 DMOC服务器架构23图4.3共享数据库单独模式

17、24图4.4 System Repository中用于存储可信任IDS URL的表结构25图4.5 JMS实现模型26图4.6 SAP ID Service实现SSO时序图28图4.7应用服务器与数据库实现SAML模型流程图30图4.8单点登录获取数据库连接类图31图5.1 credentials.properties配置33图5.2 activemq.xml配置33图5.3 应用服务器和客户端消息通信时序图34图5.4 数据库和应用服务器SSO实现时序图37图5.5 SAML认证界面41图5.6 登录界面42图5.7 超级用户管理界面42图5.8 数据库生成Security log42图5.

18、9 浏览器安全日志显示43图6.1 服务器集群部署拓扑图44图6.2 负载统计信息47图8.1 一键部署安装包结构53表目录表格 4.1 DMOC的数据库设计24表格 4.2 ActiveMQ实现JMS类设计26表格 5.1 Security_log表结构41表格 6.1 功能性测试结果46表格 6.2 浏览器兼容性测试结果48表格 6.3 测试模块设计49表格 6.4用户验证测试用例50IV浙江大学硕士学位论文第1章 绪论第1章 绪论1.1 研究背景所谓“天下事，合久必分，分久必合”，当前时代，IT企业与计算机之间的关系发生着类似的变迁。由原来的大型机，分化到小型机这是计算机演变的“分”，到

19、如今云计算的提出，是“合”，将资源整合共享，已经是行业发展的大势所趋。当今世界，正在以前所未有的速度由传统IT基础架构向云计算解决方案迁移。使人们“像用电一样使用计算资源”的梦想成为现实，这不仅标志着IT技术的重大革新，还引发了商业模式的巨大变革。近年，各企业在云计算的研发和推广上不断加大投入。数据表明，企业应用云计算的领域已经不只是测试、培训和展示，而是将其应用到生产系统，实现效益最大化1。SAP公司基于这一现状，在云计算发展迅速的当下，以已有产品为基础，结合云计算技术，研发并推出了云计算解决方案DMOC(Data Management on Cloud)。该产品是基于DM(Data Man

20、agement)进行的重构和二次研发。旨在抽取部分已有本地化产品的功能，将其实现于云端。产品分为服务器端和客户端两部分。研发过程中，本人主要负责产品服务器端的研发和部署工作。本文就结合这一研发过程，由“云”在企业软件架构中的应用引入，深入研究基于Linux集群的云服务技术的研发与实现，着重对分布式系统部署，以及云计算安全等方面进行探索研究。1.1.1 云计算的产生根据IBM云计算白皮书里关于云计算一词的定义，可以了解到云计算可以是一种用来描述一个系统的平台或者可以是一种类型的应用程序。云计算的平台通常是按需对其进行动态地部署(provision) 、配置(configuration)、重新配置

21、(reconfigure) 以及取消服务(de provision)24。云计算平台中的服务器既可以是由专业人员部署的物理服务器，也可以是虚拟服务器。高级的云计算可以包括一个完整的云平台以及部署于这个云平台上的各种云计算的应用以及类似共享文件系统、防火墙和一些其他保证云计算安全的设备等计算机资源。在高级云计算里，云计算应用占据重要地位，它可以按需扩展，用户只需要通过互联网就可以对其进行访问。这些“云应用”被部署在通过大规模的数据中心以及由专业人士根据最优性能的目标部署而来的服务器上，为用户提供相应的云计算服务。基于此定义，可以将云计算的优势概括为两个方面: 一方面针对基础设施的选择,既可以选用

22、昂贵高效的大型机，又使虚拟服务器或者廉价服务器的使用成为可能；另一方面针对构建于基础设施之上的云计算应用，其支持范围更加广泛，可以实现按需开发，随需而变。同时，应用程序可以与底层服务协作，最大限度的利用资源。以上定义也使得云计算具有可扩展性14以及高可用性15的特征。由于廉价集群式服务器的使用，云计算可以由小型集群扩展到大型集群模式。同时，通过集群技术，云计算能够容忍节点的错误, 通过节点间的冗余，即使有很大一部分节点发生失效也不会影响程序的正确运行。这些特征的具备将云计算之于企业和个人用户的价值大大提高，进而造就了云计算现今势如破竹的发展态势。当然，在云计算产生之前，业界一直倡导传统数据中心

23、。传统数据中心的设计目标是能够持续工作，希望设备能够一直不损坏、保持正常工作。但随着时间的推移，其劣势也逐渐显现。简单而言，传统数据中心就是一大堆物理设备孤立的堆砌，想要建立好数据中心，必须管理好日益增多的物理设备，保持良好的环境，不要损坏和丢失，出了故障要有人维修。但是，资源孤立不能共享、工作负载静态管理，不能在整个数据中心实时、动态调度等造成了传统数据中心资源利用效率低下。不仅服务器工作负载是静态的，而且网络和存储系统的工作负载也是如此，造成各种资源利用效率的全面低下。总之，对于传统数据中心22，由于缺乏对资源部署的统一规划，导致异构的计算资源和存储资源难以进行有效整合与扩展，从而会给企业

24、和用户带来资源浪费、管理困难以及维护成本高昂等弊端。云计算的产生就是在探索规避传统数据中心弊端的道路上逐渐被提出的。它是随着计算、存储以及通信技术的快速发展而出现的一种崭新的共享基础资源的商业计算模型，被誉为“革命性的计算模型”；它可以为用户提供可配置的、可共享基础资源的计算模型，通过云计算的使用，用户能够在云服务提供商很少参与的情况下，方便、实时地访问网络、存储、数据等自身持有的资源。之后，随着云计算与IT业务的相结合，其优势就尤其明显。第一是降低运营成本，提升业务管理效果；第二点就是提高可靠性和承载能力，采用云计算之后，单点故障被消除，可靠性得到提升，我们可以把多台计算机连接在一起，实现网

25、络资源、计算资源、存储资源的共享；第三就是集群应用，实现规模效应、弹性扩展，能够提供更灵活便捷的服务。云计算的这些特点让传统的数据中心焕发崭新活力。高效的资源利用率、高可用性，可扩展性，高可靠性、支持虚拟技术、廉价以及服务多样性的特点降低了数据中心的运营成本，也为新兴的互联网企业带来了更加弹性、灵活的服务模式。1.1.2 云计算的现状由于云计算的优势日益显现，各大IT巨头相继投入其中。云计算起源于亚马逊和Google两个公司，它们最早使用了“Cloud Computing”23的表述方式。目前为止，公开宣布进入或支持云计算技术开发的业界巨头包括微软 谷歌、IBM、亚马逊、Adobe等。作为云计

26、算的提出者。2006年，Google启动了“Googlel01”计划，引导大学生们进行“云”系统的编程开发。由于Google在搜索引擎技术上的积累是其他IT企业无可匹敌的，Google凭此优势，在云计算技术上一直处于领先的地位。不仅提供在线应用，还通过自身的数据库系统优势的发挥，成立了在线应用的统一平台。Google已经具有一套专属的云计算平台, 这个平台是由GFS（Google File System）、MapReduc分布式编程以及分布式的大规模数据库管理系统BigTable三部分组成。专门为最重要的搜索应用提供服务，现在已经扩展到其他的应用程序。IBM 公司于2007年底宣布了云计算计划

27、，云计算的概念出现在大众面前。“蓝云”计划18的提出推出了共有云和私有云的概念。“ 蓝云” 计算平台的主要组成部分包括数据中心、IBM Tivoli部署管理软件、IBM Tivoli 监控软件、IBM WebSphere 应用服务器以及IBM DB2 数据库等24。同时，它还使用一些开源的信息化处理或是虚拟化软件来实现消息处理或者流量控制等功能。其特点主要体现在虚拟机以及对于大规模数据处理软件 Apache Hadoop的使用。目前，IBM是唯一提供硬件、软件到服务全部自主生产的厂商。作为互联网中占有市场份额最大的在线零售商, Amazon每天负担着大量的网络交易。基于对大数据处理的要求，Am

28、azon也是云计算的开辟者。Amazon的云计算平台弹性计算云(elastic compute cloud，简称EC2)20，是一个可以提供给软件开发人员或者其他应用开发商远程服务的云计算服务平台。EC2是一个建立在大规模集群计算上的云平台，符合当前对云计算平台搭建的现有标准，当然，也可以说，是Amazon通过自己独辟蹊径的部署模式，为云计算平台的部署提供了新的模式和标准。EC2可以开放给注册并得到应用使用的用户，同时也可以开放给其他地应用开发商，用户只需要在获取相应登录信息之后，通过互联网来操作自己持有或者所需的云计算应用实例。在这样一个过程建立中，用户不需要任何本地客户端，只需要将自己的服

29、务需求与相应可以满足该需求的云计算应用匹配，然后根据自己的需要付费，通过这种方式，用户不仅可以在最小代价的完成所需服务，同时，也为网络资源的整合和节约成本提供了新方式。本文研究的云计算产品也将在后续的发展中借助Amazon弹性云平台，为用户提供更多商业用途。总之，通过对几大云计算业界巨头的云计算平台分析，可以看出，云计算的研究现状如火如荼，并已经取得了一定成效。对其的研究也大致根据服务分为不同类别。但是，归根结底，云计算的研究依然处于上升阶段，对其的认识和探索会不断深入，而更加符合市场需要的产品必将不断产生。1.1.3 云计算的机遇云计算发展至今，对它的认识和定义一直存在激烈地争辩和分歧，但是

30、不可否认，云计算给整个IT行业带了了新的机遇。首先，我们看到，在云计算领域，私有云和共有云之间的界限越来越模糊，各企业争先选择进入云计算领域，希望分一杯羹。可喜的是，云计算也在这样的态势下不断发展，企业通过云计算开始重构或者是改进自己的应用软件，通过各种设备终端接入SaaS服务。与此同时，PaaS服务的开放性也越来越大，给企业发展云计算带来了更多的契机。其次，云计算的目标是使得用户可以随时随地获取自己的数据，不管数据量有多大。那么，这一需求就催生了大数据处理的浪潮。而这些大数据的处理一般都要基于大型的系统架构实现，这也就使得云计算的发展更加合理和迫切。最后，云计算的发展带来了一个产业型的变革，

31、通过与计算的使用，人们对于传统产业的概念将发生完全扭转。只保留终端就可以对持有数据进行访问操作。服务的平台化日趋明显，用户只需要关注服务本省，选定平台即可实现所需的服务。云产业的产生将催生更多的服务模式以及发展途径21。云计算可以为图1.1中云产业链参加者带来空前的机遇，将推动其获得空前发展，有利于产业布局优化专业分工和资源的高效整合利用。新增的角色，比如硬件提供商、云服务提供商、基础软件提供商、运维商、云提供商等或新增，或给予之前存在的角色进行新的变革，他们都将借助云计算的发展得到更加长足的进步2。图1.1 云产业链1.1.4 云计算的挑战所谓机遇与挑战并存，存在机遇，也就存在挑战。云计算在

32、不断发展的过程中也接连遇到了各种挑战。云计算安全性问题就是从云计算的诞生之日起一直被关注的问题。直至今日，对于云计算安全的担忧依然是云计算面临的最大问题。如何保证对用户的安全保证和控制，如何保证用户大数据的安全，如何对商业机密或者用户隐私进行有效保护，都是云计算现在以及将来需要面对的挑战。虽然云计算使客户端的成本非常低廉，甚至一个浏览器就可以完成所有之前需要一个完整环境和诸多应用软件实现的服务。但是相对的，这一技术对云端的处理能力要求就提升了许多。云端要保证准确无误，并且及时迅速地对海量数据进行有效处理。1.1.5 云计算的未来综上所述，对于云计算的未来将是一个机遇与挑战并存的时代。云计算的发

33、展，是历史进步的表现，推广云计算可以更好地服务社会，实现社会的进步。云计算使得即连即用得到实现，强大的信息处理能力也将随着它的不断发展而得到进一步提高。虽然云计算发展中，安全等会成为其制约因素，但是这些必将会被克服和不断完善。相信不远的将来，云计算将改变整个行业体系，云计算也会在混沌中产生一个公认的云标准20，为其发展提供有力助力。1.2 研究内容本课题的研究内容是通过对企业级项目DMOC的研究，针对目前流行于IT行业的云服务模式进行探讨，着重研究在云计算中关于集群和负载均衡的技术实现，尤其是针对安全问题做出的努力和实现。通过在云应用部署过程中的Linux集群搭建以及单点登录技术从一个侧面来阐

34、述保障云计算安全的解决方式。1.3 研究目标通过对云计算服务模式的研究，比较不同云服务模式的优劣，得出DMOC使用PaaS结合SaaS的理由；通过对集群技术的研究，设计并实现云应用部署中负载均衡和消息转发；通过对单点登录技术的研究，有效实现云计算安全性中对用户隐私的保护；通过对云部署项目的架构研究，展现云应用部署的整体框架和规模。最后，希望通过对以上技术的研究，进一步加深对云计算的认识和了解，清晰云计算的模糊面纱；通过对DMOC云计算应用的研究，推导出云计算一般开发模式，进而对云计算安全技术的发展产生有力推动。1.4 本章小结本章节主要阐述了课题的研究背景、研究内容和目标。研究了云计算的产生，

35、发展，现状以及未来。通过对几大典型云计算平台的分析，引出当前云计算发展的几大方式，进而引出本文所研究的Data Management on Cloud产品。通过对云计算的未来进行展望，表明云计算产品的发展充满机遇，但是挑战依然并存。云计算的发展需要各方坚定信心，继续努力，开创更加辉煌的云计算愿景。6浙江大学硕士学位论文第2章DMOC产品介绍第2章 DMOC产品介绍2.1 Data Management产品介绍数据管理项目(Data Management)是一个解决数据集成、数据质量管理、文本分析、数据分析以及元数据管理的企业级解决方案。该方案提供了一个完整独立的数据处理平台，可以在一系列涉及S

36、AP或者非SAP的应用中充当标准的数据集成和数据质量管理工具。这一产品由图形化界面、元数据仓库、数据连接层、运行时环境、以及管理平台组成。通过数据管理项目，可以实现数据由不同数据源进行抽取，转换，以及加载，换言之，数据管理项目属于实现ETL应用的一部分。作为面向企业的应用，最为关键的是尽可能多的实现对不同数据源形式的支持。数据管理项目几乎支持所有商业版本数据库。数据管理项目在加载数据前，需要建立表格，索引，通过密集型工作来实现数据流创建，以及一对一关系下的表格拖放。数据管理项目的一大特色就是能够通过图形化界面完成数据之间的分析，转换，换言之，通过简单的拖拽，DM就可以实现对单一表格读取，以及数

37、据读取转换流的设计。同时，在软件应用中还封装不同函数，实现特定的特殊功能。其次，通过用户或者软件提供方，对作业的不同设计，相应的能够实现不同的数据处理功能。针对不同需求，可以提供统一但又不是灵活的设计方案，使该产品具有很强的灵活性和适用性。这样，对于需要进行数据分析的企业，数据管理就基本可以满足其所有的需求。优秀的大数据处理能力，灵活的实现方式，以及出色的信息治理和分析能力，都使得数据管理软件的推广和使用得到普遍欢迎。2.1.1 DM产品局限性虽然，作为一个实现ETL功能的数据处理工具，DM已经具备相对出色齐全的各种功能，但是，随着企业和IT技术的发展，企业对于该类产品的需求又有所改变。数据管

38、理项目作为面向所有企业数据管理任务的一体化解决方案，对不同类型的用户，提供不同的用户界面，并且能够无缝集成元数据。但是，随着移动互联网，移动终端来势汹汹的进入IT市场，依赖于SAP商务智能平台的数据管理就显现出了无法和精悍小巧的移动客户端抗衡的劣势。具体可以概括为以下几点：首先，数据管理项目过多的关注业务。通常情况下，DM产品并未关注到非IT人员需求，许多操作需要相当的业务知识和输入，操作界面也显得过于技术化。所以，针对普通用户，其入门较难。其次，由于数据管理项目是本地化业务支持项目，其升级和维护都需要客户方完成。即使有产品提供方的专门技术支持的帮助，有时候，产品的升级和维护依然很困难。同时，

39、随着项目的不断庞大，产品的维护和开发成本也越来越高，无法支持自动化管理是DM产品的巨大劣势。最后，数据管理项目自发布之日起，已经历了数年的演变，随着客户需求的不断变更和升级进程的加速，看似简单的业务软件，已经具有庞大甚至繁琐的功能体系。这一点，也对数据管理项目的可用性带来了挑战。冗余功能的存在也对客户造成一定困扰。以上劣势，都使得开发一款可以继承DM产品主流功能，并可以实现统一维护管理的产品的需求提上日程。顺应形势发展，云计算可以满足规避DM本地化劣势的最佳选择，一款部署于云计算平台，并能实现部分数据管理功能的软件的开发就成了必然之举。2.1.2 DMOC产品的提出DMOC就是综合各种因素诞生

40、的云计算产品。从开发者角度来看，DMOC只是简单地将DM产品的部分主流功能抽取出来，在开发实现逻辑上并没有很大的改变，是可以实现并能够进行更好的优化的。这里的优化亦是对开发者的挑战，目的是将一个本地化实现数据管理功能的产品移植到云端，在云平台实现数据管理功能。DMOC产品采用SaaS模式，软件即服务的模式，将开发的软件部署到云平台，实现其应有的功能。从管理者角度来看，DMOC大大减轻了管理者的负担。运维项目组只需将云平台部署好，这其中包括服务器端的搭建以及客户端的安装。其余的作业设计，数据源和目标数据源的管理都可以由运行维护项目组进行控制。这样，DMOC作为一个可控产品，相较于单独部署的DM，

41、就可以节省大部分的人力物力，做到弹性化的集中管理。从用户的角度来看, 云计算系统将各种用户数据通过网络保存于云端，减小了用户数据管理的负担。用户根据自己的需求，从云供应商处获得所要的服务，按需付费; 同时, 云计算系统通过共享计算机资源，以及整合了有效可用资源的大规模云计算平台处理数据，这样，对于当前流行的大数据处理需求，云计算可以完美实现。2.1.3 DMOC产品组成DMOC产品主要由七大部分组成：（1）DM Agent，即为DM客户端。客户端将被安装在客户方，用于运行设计完成的作业，实现数据从客户环境到DMOC应用或者是云计算应用的转换和抽取。其主要封装了DM原有产品的核心部件job se

42、rver和引擎，用以实现作业的运行和分析。（2）负载均衡。该部分可实现对应用服务器访问的负载均衡，使用HTTP server 完成负载均衡。（3）应用服务器。该部分是整个DMOC服务器端的核心。DMOC的服务器软件被部署于多个服务器上，这些服务器以集群的方式，通过负载均衡，实现对不同客户端的管理和服务。提供基于云的解决方案，实现数据集成，数据质量管理，数据分析，文本数据处理等功能，使我们能够整合，改善和提供可靠的数据关键的业务流程。（4）Active MQ 集群。Active MQ是Apache的一款开源消息处理中间件。DMOC部署方案使用该软件实现对服务器之间以及服务器和客户端之间的消息的确

43、认、传输以及跟踪。（5）HANA server 集群。DMOC服务器采用HANA服务器作为其数据库服务器，用以存储服务器端的用户和作业信息。（6）NFS (Network File System)服务器，DMOC采用数据库和应用服务器共同存储秘钥的方式来保证服务器与数据库之间通信的安全性。NFS就是用以存储服务器端秘钥的公共文件系统。（7）IDS, identity server。身份认证服务器。该服务器可以作为身份认证的提供者和验证者，要想实现对SAP云的访问，甚至访问部署于SAP云上的应用程序，都需要获取这一由认证服务器提供的认证服务，来访问SAP云。这一技术，可用于实现用户登录的认证与服

44、务器分离，用单独的身份认证服务器来存储用户信息，并做身份认证可以更好的保证访问安全，以及实现统一维护。2.2 本章小结本章主要概述了DMOC产品提出并进行研发的必要性，比较了DMOC产品相较于传统DM产品的优势。对DMOC产品的组成部分进行了简要概括性介绍，在接下来的章节，会对其各个部分进行详细描述和研究。9浙江大学硕士学位论文第3章应用技术介绍第3章 应用技术介绍3.1 云服务随着云计算应用的日趋成熟，根据服务提供类型的不同，云计算按其服务形式可分为三种服务模式：PaaS（平台即服务）、IaaS（基础设施即服务）、SaaS（软件即服务）16。3.1.1 PaaS云服务模式PaaS模式是云计算

45、的典型应用，它可以将软件开发平台作为一种服务，通过互联网交付，同时还可以使开发的应用像SaaS模式一样，用户可以通过浏览器享用到开发的应用软件提供的功能9。通过对常见PaaS平台的分析可以看出，PaaS平台相较于传统的开发和服务模式，提供了其所不具备的功能特性19。首先，PaaS平台将提供给开发者一个完整的应用程序开发环境和运行环境，开发人员只需要借助这一环境进行开发即可，而不需要租用、购买、甚至维护任何软件、硬件设备，如果是外围开发人员，只是借助某些云平台的功能来完成其他应用开发，那么PaaS也可以为其提供某一部分的接口供开发人员使用；其次，由于PaaS是一个专业级的云计算平台，所以它将一直

46、由专业人员进行维护，开发人员在开发过程中如果希望获取应用的运行状态或者是访问统计信息，那么，PaaS可以随时为其提供专业数据，这从一方面也显示出PaaS平台的使用本来就是一个按需提供服务的过程；最后，由专业人员统一维护的平台自然不仅仅满足静态需求，它还可以根据需求变化，提供更好的可扩展性和可用性19。总之，PaaS平台将可以为开发人员或者是其使用商提供尽可能的符合其需求的服务，而不需要个人或者是个体单位将过多精力耗费于与主要业务无关的其他方面。3.1.2 IaaS云服务模式所谓IaaS是指云计算服务商向用户提供例如虚拟主机、存储、网络等虚拟的硬件资源。用户通过租赁的方式搭建自己的系统而不需要购

47、买。IaaS是针对基础设施提供的服务，所以它关注于底层。当用户需要基础设施服务时，就可以寻求IaaS为其提供的按需分配和按需计费的服务。使用这一服务方式的好处显而易见。首先，用户不需要自己购买昂贵的基础设施，只需要根据自己的需求向IaaS提供商租用设备；其次，由专门的IaaS提供的硬件资源可以由IaaS提供商维护，用户不需要专门雇佣相关人员对其进行维护部署，节约人力物力成本；最后，此类服务模式灵活可靠，可以使用户便捷地快速部署相应地基础设施，并且按照自己的需求不进行扩展和提升性能。3.1.3 SaaS云服务模式SaaS云服务模式即指服务提供商将应用软件部署于服务器上，根据用户的需求，比如用户对

48、软件的定制数量，使用时间、软件功能或者性能要求等为用户提供定制级的软件服务。用户只需要通过浏览器访问服务，实现服务即可。通过这种服务模式，同样可以达到灵活性、高可用性以及高扩展性的目的。用户方可以根据自己的要求随时随地使用由SaaS提供商提供的软件应用和服务，而不需要投入大量的资金进行硬件软件和人力的投入，实现了即连即用的服务模式。3.1.4 云服务模式比较在云服务这三种模式中，PaaS是介于SaaS和IaaS之间的一种服务模式，PaaS需要开发人员对开放平台的编程接口进行应用程序设计和开发，然后部署其上，其主要是针对开发人员的；SaaS则是提供的应用程序服务，用户不需要了解相关技术，只要对其

49、配置具有一定的了解，即可上手使用；而IaaS提供的则是最底层的基础服务设施，所以其针对的是IT人员和开发人员。图3.1是三种云服务模式的在灵活性上的比较。图3.1 三种云服务模式的在灵活性上的比较综上看来，PaaS是介于SaaS和IaaS之间的一种云服务模式。一方面，它具有IaaS 服务的灵活性但在自动化程度上面和易用性方面又超越了IaaS 服务；另一方面，它又解决了SaaS提供软件服务的单一性和无法为不同用户提供差异化服务的缺点。所以PaaS服务模式被企业广泛运用，也是DMOC产品选择这一模式的理由。面向开发人员，DMOC的服务器端应用是一个基于PaaS开发的应用程序，面向最终用户，它又是相

50、对意义上的SaaS产品。3.1.5 DMOC的JPaaS模式DMOC采用的服务模式为基于PaaS平台的SaaS模式，为了实现跨平台，DMOC基于Java进行开发，所以其开发平台也可以称为JPaaS模式。我们知道，PaaS模式中的“P”是指平台，这里的平台是开放给第三方的应用平台或者服务平台，它将通过提供应用服务引擎或者是应用程序接口/运行平台，使得用户基于该平台进行开发，测试，部署相关应用。DMOC就是基于SAP NetWeaver Cloud这一平台开发的应用，为用户提供数据处理服务。采用PaaS服务模式将软件开发人员和IT运行维护人员对设备的日常维护中解放出来。PaaS服务能发挥“群众的集

51、体智慧”， 能为更多的软件编程人员提供优良的土壤，能使软件的使用成本降低。将所有环境的部署都集中给云计算的PaaS平台，并按需付费11。这即是DMOC开发的一项重要目标。SAP NetWeaver Cloud是一个典型的云计算平台，支持Java运行环。它基于分布式框架，支持通用的Web应用开发语言，具有极好的扩张性。通过SDK向SAP内部开放提供各提供了内置安全的、可扩展的、多租户的企业级应用软件容器、中间件、服务和最新的技术。如后面将要讲到的安全认证，数据存储，邮件处理等。用户可快速、廉价地将自己开发的应用部署到这一平台，并且可以借助这一平台的接口，可以使得某些应用功能的开发和实现分离。应用

52、程序被注册到在PaaS平台，也就是托管在PaaS管理的云基础设施中之后，在借助其提供的平台运行时，用户可以便捷地开发和部署应用程序，不用将经历分散于平台搭建和维护工作，可以大大缩短应用程序开发周期、降低运行和维护成本。PaaS为用户管理云基础设施，大量节省开发时间，并可以使维护变得更加轻松。因为SAP NetWeaver Cloud是一个有专门团队维护的平台，用户无需担心调用的功能出现异常而无从解决。3.2 单点登录技术目前，比较主流的单点登录技术实现模型有两种，分别是Kerberos模型和SAML模型17。这两种单点登录技术模型都是为了实现用户通过网络进行商务活动时更加安全便捷而提出的。传统

53、意义上，用户在访问网络的时候，一般分别需要输入用户名和密码，在访问多个网站的时候，则需要多次输入，这就给用户带来了诸多不便。另外，用户的登录认证信息在网络传输过程中很可能会产生泄露，这也会为商业活动带来安全隐患。为了解决此类问题，单点登录就成了解决这一问题的有效途径。用户访问网络时，对于那些需要认证的网站，只需作一次身份认证随后就可以对被授权的资源进行访问而无需多次输入自己的认证信息。该技术在提高用户工作效率，使用户对需要认证的web service的访问更加便捷，并且也可以降低网络传输负载，提高网络安全性和降低出错概率。3.2.1 SAML模型SAML的全称为Security Asserti

54、on Markup Language,是一种安全断言标记语言。为了实现安全目的，在用户之间仅仅通过简单的密码认证已经难以满足需求，新的方式是在不同的安全域之间交换用户声明，进而实现更加安全的互访。这里的安全用户声明的产生就需要有一种标准的语言进行描述，SAML就是为了实现这一目的而产生的基于XML格式的安全标记语言。为了实现安全标准，SAML模型具有一个基于声明的安全信息交换框架，可以称之为SAML规范，通过这一规范，我们就可以实现单点登录的“一站式”安全访问。设计SAML的最主要目标是实现SSO，并且SAML可以支持各种形式的SSO，所以，在很短时间内，这一特性就得到了SUN、微软、IBM、

55、RSA等公司的支持。各公司都在基于SAML开发特有的单点登录服务，实现企业内部资源，以及跨平台资源的访问。SAP也开发了基于SAML的单点登录技术，即由IDS(SAP ID Service)在访问SAP NetWeaver Cloud提供的单点登录服务。IDS是由SAP NetWeaver Cloud 提供的默认认证提供方，它使用了SAML认证，来实现可靠地基于标准的认证和单点登录。根据单点登录技术的研究，单点登录的主要目的就是将认证和系统实现分离。由单独的单点登录服务器来负责系统的安全授权和认证，而系统只需专注于实现，而不必专门去承担复杂的用户安全保证工作。单点登录服务器为系统提供了一个集中

56、的单点登录管理平台，这里是进行用户信息认证的唯一场所，用户访问目的站点的用户信息如用户名、密码或者角色类型都将通过一定的存储方式，映射12在单点登录服务上。这样，通过单点登录服务器提供的不同单点登录服务，可以实现用户对不同站点的访问控制，便于集中管理并更加安全高效。IDS采用单点登录服务器的优势，为用户访问SAP NetWeaver Cloud 提供一个单点登录的认证服务13。那么，实现SSO是设计SAML的主要目的，在SAML的文档Bindingsand Profiles中定义了两种实现WEBSSO的认证授权方式：Browser/Artifact方式和Browser/Post方式。IDS采用

57、了两者结合的办法，实现自身的单点登录服务。3.3 Linux集群随着网络的高速发展，对服务器的需求也呈线性增长。当访问需求增大时，对服务器的要求也不断提高，需要服务器在尽量短的时间里保证服务器不因为访问量的超载而崩溃或者当机，这样，集群技术由此应运而生。作为服务器，由于Linux相对于Windows操作系统不可比拟的优势，目前，越来越多的企业采用Linux集群技术实现服务器集群的部署，为Web应用提供服务。但是随着对Linux服务器的依赖，对其可靠性，负载能力以及数据处理能力也提高了要求14。Linux集群技术以低廉的成本，易用性的实现了这些需求。 Linux 可以运行于极为普及的计算机上 不

58、需要购买昂贵的UNIX硬件设备 在几台运行Linux 的计算机上，只要加入相应的集群软件，就可以组成具有很强可靠性、负载能力和计算能力的Linux集群。3.3.1 集群的定义和分类集群是指通过高性能的网络，将两台或更多的同构或者异构的计算机整合在一起并协同完成特定任务的计算机群，这一集群对外表现为像是一台机器的整体在运作，具有高可用性、高可靠性以及可伸缩性的特点5。实质上，这样一个集群是由多台Linux或者UNIX机器互连部署形成的计算机群。集群可以分为三类：高可用性集群、负载均衡集群、超级计算集群。1、高可用性集群。高可用性集群的主要目的是保证集群可以提供持续不间断服务。许多应用程序提供的服

59、务都需要服务器能够提供24小时不间断的运转。暂时的停机或者重启都有可能造成用户的不便，数据的丢失甚至更加灾难性的后果。高可用性集群通常是由多个节点构成，当单个节点出现故障时，系统其他节点接替服务，这样就可以最大限度地减少服务中断时间，甚至将服务中断时间将为零，进而保证整个系统仍能继续正常对外提供服7。2、负载均衡集群。负载均衡集群的设计是基于有效分配系统负载的需求提出的。采用集群的目的是为了更好地保证系统的高可用性，那么负载均衡就是为了实现系统的高性能。在集群的部署模式下，每个机器相当于一个节点，合理的部署模式是能够将所有的系统负载合理地分配到不同的节点上。这样，其中的某一个节点不会因为超负荷而崩溃，也不会存在某些节点因为分配地不合理而闲置，造成资源浪费。当然，完成合理分配是具有一定难度的，需要根据系统现状，采用合适的负载均衡算法实现负载均衡的目的。3、超级计算集群