云计算时代软件开发技术及其应用1

《云计算时代软件开发技术及其应用1》由会员分享，可在线阅读，更多相关《云计算时代软件开发技术及其应用1（75页珍藏版）》请在装配图网上搜索。

1、云计算时代的软件开发技术云计算时代的软件开发技术云计算时代的软件开发技术云计算时代的软件开发技术及其应用及其应用及其应用及其应用软件工程国家重点实验室软件工程国家重点实验室()2010-05-22提纲提纲一、云计算时代的软件一、云计算时代的软件二、云计算时代软件的开发技术二、云计算时代软件的开发技术三、云计算时代软件开发技术的创新与发展三、云计算时代软件开发技术的创新与发展四、我们的工作四、我们的工作五、总结五、总结2一、云计算时代的软件一、云计算时代的软件31.1云计算云计算vWikipediaWikipedia上的定义：上的定义：云计算是这样一种计云计算是这样一种计算方式，计算资源是动态易

2、扩展而且虚拟化算方式，计算资源是动态易扩展而且虚拟化的，往往通过互联网提供。用户不需要了解的，往往通过互联网提供。用户不需要了解“云云”中基础设施的细节，不必具有相应的中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制。专业知识，也无需直接进行控制。v云计算时代的软件是运行在云平台上，并具云计算时代的软件是运行在云平台上，并具有在线租赁服务形式、按用量可伸缩性占用有在线租赁服务形式、按用量可伸缩性占用资源、按需要个性化定制等特性的软件。资源、按需要个性化定制等特性的软件。41.11.1云计算云计算云计算云计算v云计算的使用方式云计算的使用方式将计算和存储等资将计算和存储等资源以服务的

3、方式提源以服务的方式提供，用户按需使用，供，用户按需使用，按用量付费按用量付费56软件工程国家重点实验室v有了云计算，我们可以有了云计算，我们可以无需购买昂贵的软硬件设备无需购买昂贵的软硬件设备更少的技术维护更少的技术维护按需获取海量的按需获取海量的IT资源资源按用量支付费用按用量支付费用聚焦于业务聚焦于业务图片来源：IBM公司1.11.1云计算云计算云计算云计算67软件工程国家重点实验室图片来源：IBM公司1.21.2云计算的服务体系云计算的服务体系云计算的服务体系云计算的服务体系服务多租赁化服务多租赁化平台可伸缩化平台可伸缩化资源虚拟化资源虚拟化让人振奋的许多云计算特性主要是靠软件技术实现

4、的让人振奋的许多云计算特性主要是靠软件技术实现的软件技术将在云计算时代开发出令人惊讶的应用系统软件技术将在云计算时代开发出令人惊讶的应用系统78软件工程国家重点实验室平台即服务平台即服务Platform as a ServiceHigh VolumeTransactionsSoftware as a Service服服务器器网网络存存储Metering监控控计费服服务云云开开发云云企企业云云多租多租赁安全安全中中间件件协作作业务服服务CRM/ERP/HR定制服定制服务数据中心数据中心虚虚拟化，化，动态供供应服服务管理管理J2EEOn-ramps服服务封装封装Ajax开开发On-rampsOn-

5、ramps开开发工具工具与其他云的互操作与其他云的互操作软件即服务软件即服务基础设施即服务基础设施即服务图片来源：IBM公司1.21.2云计算的服务体系云计算的服务体系云计算的服务体系云计算的服务体系81.3云软件的实例云软件的实例9软件工程国家重点实验室vGoole提供的云软件服务提供的云软件服务搜索引擎搜索引擎GmailGoogleDocsGooglePicasaWeb91.3云软件的实例云软件的实例10软件工程国家重点实验室vS于于1999年创新地以在线租年创新地以在线租赁的模式，提供按需定制的客户关系管理的赁的模式，提供按需定制的客户关系管理的软件服务软件服务功能的增删，用户界面的个性

6、化等功能的增删，用户界面的个性化等用户只需支付租用费，就可以使用用户只需支付租用费，就可以使用CRM服务，服务，包括普通的联系人管理，产品目录到订单管理，包括普通的联系人管理，产品目录到订单管理，机会管理，销售管理等服务。机会管理，销售管理等服务。提供一个平台，使得客户无需花费大量资金和人提供一个平台，使得客户无需花费大量资金和人力而拥有自己的软件，所有的软件和数据都储存力而拥有自己的软件，所有的软件和数据都储存在在平台上。平台上。101.3云软件的实例云软件的实例11软件工程国家重点实验室v据据Gartner预计，到预计，到2010年企业年企业30%的软件的软件应用将通过服务来提供。应用将通

7、过服务来提供。111.4云计算时代软件的新变化云计算时代软件的新变化12软件工程国家重点实验室v用户只需要使用软件，而不用自己去运行用户只需要使用软件，而不用自己去运行（软件始终在网上运行着）和管理软件。使（软件始终在网上运行着）和管理软件。使用云上的软件只需注册、客户化、应用即可。用云上的软件只需注册、客户化、应用即可。v用户变成租户，单一实例的软件使用模式变用户变成租户，单一实例的软件使用模式变成多租赁的服务模式成多租赁的服务模式v网站从网站从Web信息发布平台变成信息发布平台变成Web应用软件应用软件运行平台，变成系统托管平台，变成多租户运行平台，变成系统托管平台，变成多租户的软件服务平

8、台的软件服务平台121.4云计算时代软件的新变化云计算时代软件的新变化13软件工程国家重点实验室v软件运行在因特网上的共享数据中心上，而软件运行在因特网上的共享数据中心上，而不是运行在自有的服务器和计算机上。不是运行在自有的服务器和计算机上。v应对用量变化的手段，从制作网络镜像手工应对用量变化的手段，从制作网络镜像手工增删资源，到系统和平台的自动伸缩。增删资源，到系统和平台的自动伸缩。v可个性化定制可个性化定制v快速开发快速开发131.5本报告关注的主题本报告关注的主题14软件工程国家重点实验室v云计算时代软件需要新的开发技术云计算时代软件需要新的开发技术v软件工程师也需要使用云计算时代的软件

9、开软件工程师也需要使用云计算时代的软件开发技术去提高开发能力发技术去提高开发能力v开发作为服务开发作为服务1415软件工程国家重点实验室v在云计算平台中，如何开发、运行和维护那些为在云计算平台中，如何开发、运行和维护那些为（最终）用户提供云服务的软件系统（包括系统（最终）用户提供云服务的软件系统（包括系统软件、工具软件和应用软件等各类软件）软件、工具软件和应用软件等各类软件）1.51.5本报告关注的主题本报告关注的主题本报告关注的主题本报告关注的主题关注云计算模式下的关注云计算模式下的软件开发与设计技术软件开发与设计技术软件工程国家重点实验室图片来源：美国加州大学圣巴巴拉分校15二、云计算时代

10、软件的开发技术二、云计算时代软件的开发技术软件工程国家重点实验室1616v云计算是在分布式计算、并行计算和网格云计算是在分布式计算、并行计算和网格计算的基础上，经一系列技术的创新和融计算的基础上，经一系列技术的创新和融合而形成的。合而形成的。v目前，云计算平台本身以及云计算平台上目前，云计算平台本身以及云计算平台上的应用软件的开发都使用分布式并行编程的应用软件的开发都使用分布式并行编程技术。技术。2.1 2.1 2.1 2.1 云计算时代的分布并行编程技术云计算时代的分布并行编程技术云计算时代的分布并行编程技术云计算时代的分布并行编程技术17v云计算时代的分布并行编程技术云计算时代的分布并行编

11、程技术分布并行数据处理技术分布并行数据处理技术GoogleMap/ReduceHadoopMap/Reduce分布式文件系统分布式文件系统GoogleHadoopDistributed分布式数据库分布式数据库GoogleBigTableHadoopHBase2.1 2.1 2.1 2.1 云计算时代的分布并行编程技术云计算时代的分布并行编程技术云计算时代的分布并行编程技术云计算时代的分布并行编程技术182.2 2.2 分布并行数据处理分布并行数据处理19软件工程国家重点实验室vMap/Reduce用于大规模数据并行处理用于大规模数据并行处理数据量大（超过数据量大（超过1TB）在成百上千个在成百

12、上千个CPU上并行处理上并行处理用户只需实现下面接口用户只需实现下面接口map (in_key,in_value)-(out_key,intermediate_value)listreduce(out_key,intermediate_value list)-out_value list192.2 2.2 分布并行数据处理分布并行数据处理20软件工程国家重点实验室vMap/Reduce架构架构图片来源：美国华盛顿大学课件202.2 2.2 分布并行数据处理分布并行数据处理MapReduce实现原理实现原理图片来源：Google Research Publication212.3 2.3 分布式

13、文件系统分布式文件系统vGoogle（GFS）v需求：在廉价、相对不可靠的计算机上对巨量数据需求：在廉价、相对不可靠的计算机上对巨量数据进行冗余存储。进行冗余存储。为什么不用现有的文件系统？为什么不用现有的文件系统？-Google面对特殊的挑战面对特殊的挑战文件较大，每个都在文件较大，每个都在100M以上，通常为几个以上，通常为几个GB文件通常需要频繁的追加文件通常需要频繁的追加用流方式读取用流方式读取高吞吐量高吞吐量低延迟低延迟针对上述问题，针对上述问题，GFS在文件系统性能和可伸缩性在文件系统性能和可伸缩性方面进行了优化设计。方面进行了优化设计。22vGFS的设计理念的设计理念文件用块存储

14、文件用块存储每个块固定为每个块固定为64MB通过冗余解决可靠性问题通过冗余解决可靠性问题每个块同时拷贝在每个块同时拷贝在3个块服务器上个块服务器上主服务器负责协调访问和保存元数据主服务器负责协调访问和保存元数据简单化的集中管理简单化的集中管理定制化的定制化的API无数据缓存无数据缓存较大文件块和流式读取使得缓存效果不佳较大文件块和流式读取使得缓存效果不佳2.3 2.3 2.3 2.3 分布式文件系统分布式文件系统分布式文件系统分布式文件系统23GFS架构架构2.3 2.3 2.3 2.3 分布式文件系统分布式文件系统分布式文件系统分布式文件系统图片来源：Google Research Publ

15、ication24vGFS集群集群一个一个GFS集群有一个主服务器和多个块服务器集群有一个主服务器和多个块服务器文件被分割成固定尺寸的块。文件被分割成固定尺寸的块。块服务器把块作为块服务器把块作为linux文件保存在本地硬盘上，文件保存在本地硬盘上，并根据指定的块句柄和字节范围来读写块数据。并根据指定的块句柄和字节范围来读写块数据。主服务器管理文件系统所有的元数据，包括名字空间、主服务器管理文件系统所有的元数据，包括名字空间、访问控制信息和文件到块的映射信息，以及块当前所访问控制信息和文件到块的映射信息，以及块当前所在的位置。在的位置。客户端与主服务器交互，处理元数据客户端与主服务器交互，处理

16、元数据客户端与块服务器交互，存取数据本身客户端与块服务器交互，存取数据本身2.3 2.3 2.3 2.3 分布式文件系统分布式文件系统分布式文件系统分布式文件系统252.4 2.4 分布式数据库系统分布式数据库系统vGoogleBigTable为了处理为了处理Google内部大量的格式化以及半格式化数据内部大量的格式化以及半格式化数据而构建的大规模分布式数据存储系统而构建的大规模分布式数据存储系统v特点特点面向大规模处理、容错性强的自我管理系统，拥有面向大规模处理、容错性强的自我管理系统，拥有TB级的内存和级的内存和PB级的存储能力，每秒可以处理数百万的级的存储能力，每秒可以处理数百万的读写操

17、作读写操作能够保存记录的不同时段的版本能够保存记录的不同时段的版本构建于构建于GFS和和Map/Reduce基础之上基础之上26vBigTable的设计理念的设计理念面向网页数据的发布、搜索和浏览等特定处理的需要，面向网页数据的发布、搜索和浏览等特定处理的需要，简化数据管理系统的设计，并提高性能简化数据管理系统的设计，并提高性能不支持关联不支持关联不支持不支持SQL查询查询简化数据的一致性管理简化数据的一致性管理网页数据的管理对一致性要求不高网页数据的管理对一致性要求不高简化事务管理简化事务管理网页数据的处理（搜索、发布）对事务管理要求不高网页数据的处理（搜索、发布）对事务管理要求不高面向海量

18、数据管理要求面向海量数据管理要求设计分割和合并管理机制（基于元数据）设计分割和合并管理机制（基于元数据）设计自动伸缩功能（根据数据量调整资源用量）设计自动伸缩功能（根据数据量调整资源用量）软件工程国家重点实验室272.4 2.4 2.4 2.4 分布式数据库系统分布式数据库系统分布式数据库系统分布式数据库系统27vBigTable的实现的实现GFS为表文件、元数据和日志提供存储服务为表文件、元数据和日志提供存储服务Chubby提供分布式并行处理功能提供分布式并行处理功能一个一个Table按照行被分割为多个按照行被分割为多个tablet每一个每一个tablet在物理层被存为在物理层被存为SSTa

19、ble文件文件通过维护通过维护keydiskblock索引，索引，SSTable文件管理系统提供文件管理系统提供keyvalue的索引功能的索引功能2.4 2.4 2.4 2.4 分布式数据库系统分布式数据库系统分布式数据库系统分布式数据库系统28vBigTable架构架构2.4 2.4 2.4 2.4 分布式数据库系统分布式数据库系统分布式数据库系统分布式数据库系统图片来源：Google Research Publication29软件工程国家重点实验室2.5 2.5 Google App EnginevGoogleAppEngine提供运行和开发的基础平台，允许开发人员编提供运行和开发的基

20、础平台，允许开发人员编写网络应用，上传至写网络应用，上传至AppEngine部署运行部署运行支持支持Java和和Python两种开发语言两种开发语言AppEngine应用程序易于构建和维护，并可应用程序易于构建和维护，并可根据访问量和数据存储需要，进行伸缩根据访问量和数据存储需要，进行伸缩。将应用程序隔离在它自己的安全可靠环境中，将应用程序隔离在它自己的安全可靠环境中，该环境与网络服务器的硬件、操作系统和物理该环境与网络服务器的硬件、操作系统和物理位置无关位置无关30软件工程国家重点实验室v开发开发GAE应用的方法应用的方法利用利用AppEngineSDK进行进行开发开发本地创建Web应用项目

21、本地编译Web应用项目上传应用程序到Google AppEngine2.5 2.5 2.5 2.5 Google App EngineGoogle App Engine312.6Salesforce FvF的云计算平台的云计算平台v基于基于Web的随需应变的企业级软件开发和运行平台的随需应变的企业级软件开发和运行平台v开发的软件能在开发的软件能在F平台上运行平台上运行v由一组集成的工具和应用程序服务组成由一组集成的工具和应用程序服务组成图片来源：32vF云计算平台整体概览云计算平台整体概览Native ERP ConnectorsNative Desktop ConnectorsIntegra

22、tion MiddlewareMash-ups from AppExchangeDeveloper Toolkits2.62.6Salesforce Salesforce FF图片来源：33v元数据驱动的平台：使元数据驱动的平台：使用元数据，定义数据模用元数据，定义数据模型、对象、窗体、工作型、对象、窗体、工作流等，在运行时动态生流等，在运行时动态生成租户的应用程序成租户的应用程序2.62.6Salesforce Salesforce FF34Apex代代码多租多租赁虚虚拟机机元数据元数据可可视化化设计v应用程序开发模式应用程序开发模式声明式开发声明式开发页面拖拽式设计页面拖拽式设计集成开发环

23、境集成开发环境APIMetadataAPIWebServicesAPI2.62.6Salesforce Salesforce FF图片来源：35vAPEX语言语言开发人员声明式开发开发人员声明式开发APEX程序程序编译后的编译后的APEX程序作为元数据存储在数据库中程序作为元数据存储在数据库中F平台解释并控制平台解释并控制APEX代码的运行代码的运行2.62.6Salesforce Salesforce FF图片来源：36vAPEX语言语言vApex为第一个所需应变的、多租户编程语言和平台为第一个所需应变的、多租户编程语言和平台vApex是一种是一种Java式的语言，可以在式的语言，可以在S的

24、的服务上运行。用户能够使用这种语言创建客户组件、客服务上运行。用户能够使用这种语言创建客户组件、客户化和修改现有的户化和修改现有的S代码、创建触发器和代码、创建触发器和编写程序。编写程序。vApex平台还包括一个应用程序编程接口以访问和管理复平台还包括一个应用程序编程接口以访问和管理复杂的数据关系和杂的数据关系和Ajax工具包。工具包。vApex平台中的实时消息和整合工具允许其它应用程序获平台中的实时消息和整合工具允许其它应用程序获得得S中的业务事件。中的业务事件。2.62.6Salesforce Salesforce FF图片来源：37vFAppExchange企业软件的企业软件的在线在线“

25、超市超市”，用户可以自行购买，用户可以自行购买那些可以即选即用的功能模块，然后在其用户那些可以即选即用的功能模块，然后在其用户名下的名下的S上运行，其中的大部上运行，其中的大部分模块是由第三方开发并自主提供的。分模块是由第三方开发并自主提供的。提供一个开发人员与用户共享软件和数据的社提供一个开发人员与用户共享软件和数据的社区区2.62.6Salesforce Salesforce FF38vFforGoogleAppEngine工具工具使使GoogleAppEngine平台上平台上Web应用的开发应用的开发人员可以运行和使用驻留在人员可以运行和使用驻留在F平台上平台上的企业应用和数据的企业应用

26、和数据提供了提供了Java和和Python库，允许开发人员从库，允许开发人员从GoogleAppEngine中的应用软件，通过使用中的应用软件，通过使用F中中Web服务的服务的API接口，查询和处接口，查询和处理理F中的数据，从而实现中的数据，从而实现GoogleAppEngine中应用软件与中应用软件与F中应用中应用软件的无缝地集成。软件的无缝地集成。2.62.6Salesforce Salesforce FF39v开发方开发方墨尔本大学云计算实验室墨尔本大学云计算实验室Manjrasoftv主要负责人主要负责人Dr.RajkumarBuyyav相关信息相关信息2.7Cloudbus40vA

27、neka基于基于.NET的云计算的云计算针对企业和公共云的针对企业和公共云的PaaS基于服务契约的资源管理基于服务契约的资源管理云间互操作的要素云间互操作的要素-Brokers，将各种云联合起来，为，将各种云联合起来，为应用程序提供跨分布式资源的扩展能力应用程序提供跨分布式资源的扩展能力v第三方的云服务第三方的云服务使用不同厂商的云存储，建立内容交付网络使用不同厂商的云存储，建立内容交付网络v绿色云绿色云/数据中心数据中心充分利用资源，面向充分利用资源，面向QoS的资源分配的资源分配vCloudSim:模拟云的工具集模拟云的工具集为资源管理策略与算法，提供设计与评估支持为资源管理策略与算法，提

28、供设计与评估支持2.72.7CloudbusCloudbus412.72.7CloudbusCloudbus图片来源：Buyyas Presentation 42Aneka:.NET-basedCloudComputingvSDK：包括针对多种编程：包括针对多种编程模型和开发工具的模型和开发工具的APIv运行环境：管理应用程序运行环境：管理应用程序执行执行v适用于：适用于：开发企业云应用开发企业云应用将某些应用移植到云上将某些应用移植到云上v提供客户应用的移植：提供客户应用的移植：企业企业公共云公共云2.72.7CloudbusCloudbus图片来源：Buyyas Presentation

29、432.8 2.8 技术评价技术评价v已有的编程技术主要面向特定领域已有的编程技术主要面向特定领域v软件开发平台还待完善和发展软件开发平台还待完善和发展v云计算时代的软件工程方法学需要创新云计算时代的软件工程方法学需要创新44三、云计算时代软件开发技术的创新与发展三、云计算时代软件开发技术的创新与发展软件工程国家重点实验室45453.1 3.1 云计算时代应用软件的设计要求云计算时代应用软件的设计要求v云计算模式下应用软件系统的设计要求云计算模式下应用软件系统的设计要求基于基于SOA的的SaaS模式模式多租赁特征多租赁特征4647软件工程国家重点实验室vSaaS是指：软件以在线服务的方式供租户

30、使用是指：软件以在线服务的方式供租户使用n软件用户通过浏览器在线使用业务应用软件。软件用户通过浏览器在线使用业务应用软件。n软件及其数据都存在因特网上的数据中心里软件及其数据都存在因特网上的数据中心里n用户不需安装和管理软件系统，不需在硬件方用户不需安装和管理软件系统，不需在硬件方面投入面投入n用户按自己的需要选择、注册并使用软件用户按自己的需要选择、注册并使用软件3.2 3.2 3.2 3.2 基于基于基于基于SOASOASOASOA的的的的SaaSSaaSSaaSSaaS模式的软件设计模式的软件设计模式的软件设计模式的软件设计4748软件工程国家重点实验室vSaaS改变了软件的改变了软件的

31、交付模式交付模式使用方式使用方式运行机制运行机制开发方法开发方法vSaaS将促进软件工程的创新与发展将促进软件工程的创新与发展新的方法学新的方法学非功能需求非功能需求技术需求技术需求技术技术/管理管理/质量质量3.2 3.2 3.2 3.2 基于基于基于基于SOASOASOASOA的的的的SaaSSaaSSaaSSaaS模式的软件设计模式的软件设计模式的软件设计模式的软件设计48vSaaS模式的特性模式的特性服务（服务（Service）面向企业的服务（面向企业的服务（Line-of-businessservice）面向个人消费者的服务（面向个人消费者的服务（Consumer-orienteds

32、ervice）多租赁（多租赁（Multi-tenancy）动态可伸缩性（动态可伸缩性（DynamicScalable）动态可配置性（动态可配置性（DynamicConfigurable）3.2 3.2 3.2 3.2 基于基于基于基于SOASOASOASOA的的的的SaaSSaaSSaaSSaaS模式的软件设计模式的软件设计模式的软件设计模式的软件设计493.2 3.2 基于基于SOASOA的的SaaSSaaS模式的软件设计模式的软件设计v云计算应用软件的体系结构是一种基于云计算应用软件的体系结构是一种基于SOA技术体系的软件体系结构技术体系的软件体系结构具有面向业务、粗粒度、基于服务、松散耦

33、合具有面向业务、粗粒度、基于服务、松散耦合和动态绑定等特点和动态绑定等特点503.2 3.2 基于基于SOASOA的的SaaSSaaS模式的软件设计模式的软件设计v云计算应用软件的体系结构设计云计算应用软件的体系结构设计更关注软件系统的质量属性，例如高性能、伸更关注软件系统的质量属性，例如高性能、伸缩性、并发性、分布性、安全性和容错性等缩性、并发性、分布性、安全性和容错性等软件整体的并发性和分布性设计软件整体的并发性和分布性设计服务自身的并发性和分布性设计服务自身的并发性和分布性设计满足软件系统的质量属性成为难题和挑战，成满足软件系统的质量属性成为难题和挑战，成为不可回避的问题为不可回避的问题

34、如何建模、实现和测试这些属性，需要新的有效技术如何建模、实现和测试这些属性，需要新的有效技术和方法。和方法。513.3 3.3 多租赁特征的设计多租赁特征的设计v多租赁特性多租赁特性SaaS服务通常基于一套标准的软件系统，为服务通常基于一套标准的软件系统，为成千上万的租户同时提供不间断的服务成千上万的租户同时提供不间断的服务v设计要求设计要求支持用户对界面、业务逻辑、数据等方面的个支持用户对界面、业务逻辑、数据等方面的个性化需求性化需求支持不同租户之间数据和配置的隔离，保证每支持不同租户之间数据和配置的隔离，保证每个租户数据的安全与隐私个租户数据的安全与隐私对支撑软件的基础设施平台的性能、伸缩

35、性、对支撑软件的基础设施平台的性能、伸缩性、可信性提出很大挑战可信性提出很大挑战52v设计关注点设计关注点数据和应用隔离数据和应用隔离多租户间最大程度共享资源的同时，严格区分和隔多租户间最大程度共享资源的同时，严格区分和隔离属于不同租户的数据离属于不同租户的数据，以及应用的配置。例如：，以及应用的配置。例如：用数据表的字段或视图，区分不同租户的数据用数据表的字段或视图，区分不同租户的数据可配置性可配置性功能服务可以根据用户个性化需求灵活配置。功能服务可以根据用户个性化需求灵活配置。可伸缩特性可伸缩特性动态自动地适应大量的租户、大量的数据以及高并动态自动地适应大量的租户、大量的数据以及高并发的要

36、求发的要求性能性能需要最大程度地提高系统并发性，更有效的使用系需要最大程度地提高系统并发性，更有效的使用系统资源统资源3.3 3.3 3.3 3.3 多租赁特征的设计多租赁特征的设计多租赁特征的设计多租赁特征的设计53四、我们的工作四、我们的工作544.1高考智能择校推荐系统高考智能择校推荐系统v项目背景项目背景中国中国2010年预计有年预计有1319万人参加高考，计划万人参加高考，计划招收招收629万人，估计万人，估计80万左右因为学费、就业万左右因为学费、就业迷茫而弃考迷茫而弃考(可能对目前大学教育状况了解欠缺，可能对目前大学教育状况了解欠缺，如学费、生活消费、就业率、专业差异等如学费、生

37、活消费、就业率、专业差异等)高考系统的新增数据和使用率呈现高考系统的新增数据和使用率呈现“突爆性突爆性”，全年主要集中在，全年主要集中在1个月左右时间，而其他时个月左右时间，而其他时间相对闲置，对数据实时性和系统快速响应要间相对闲置，对数据实时性和系统快速响应要求很高。求很高。55v项目背景项目背景如何综合考虑考生信息和高校信息，帮助考生正如何综合考虑考生信息和高校信息，帮助考生正确的选择最适宜其特点的高校？确的选择最适宜其特点的高校？考生信息：高考成绩、预考成绩、兴趣爱好、生活习惯、考生信息：高考成绩、预考成绩、兴趣爱好、生活习惯、所能承受的学费及生活费用等所能承受的学费及生活费用等高校信息

38、：地址、评价、专业、学费、就业率、正高校信息：地址、评价、专业、学费、就业率、正/负负面新闻、奖学金、各专业就业率、专业全国排名等面新闻、奖学金、各专业就业率、专业全国排名等如何根据系统使用率，弹性伸缩集群规模，满足如何根据系统使用率，弹性伸缩集群规模，满足实时性要求，并节省系统维护成本？实时性要求，并节省系统维护成本？4.1高考智能择校推荐系统高考智能择校推荐系统56v现有的同类系统现有的同类系统中国高校录取在线中国高校录取在线择校网择校网北大方正高考择校专家分析系统北大方正高考择校专家分析系统北京市西城区高考估分选校系统北京市西城区高考估分选校系统高考填报志愿参考系统高考填报志愿参考系统4

39、.1高考智能择校推荐系统高考智能择校推荐系统574.1高考智能择校推荐系统高考智能择校推荐系统v现有系统的不足现有系统的不足信息量庞大，彼此独立，缺乏有效的联系信息量庞大，彼此独立，缺乏有效的联系以主动搜索为主，缺乏客观的智能推荐以主动搜索为主，缺乏客观的智能推荐缺乏数据挖掘、智能分析、综合评价体系缺乏数据挖掘、智能分析、综合评价体系缺乏开放性和可重用性缺乏开放性和可重用性未体现服务化的特点未体现服务化的特点应对应用井喷的能力不足应对应用井喷的能力不足584.1高考智能择校推荐系统高考智能择校推荐系统v项目研发内容项目研发内容基于云计算的高考数据基于云计算的高考数据/服务中心设计服务中心设计按

40、需按需DeepWeb数据数据/服务采集技术服务采集技术数据挖掘与智能分析数据挖掘与智能分析高考择校智能决策计算高考择校智能决策计算基于语义的基于语义的Web服务发现服务发现自动和半自动相结合的自动和半自动相结合的Web服务组合技术服务组合技术服务化服务化594.1高考智能择校推荐系统高考智能择校推荐系统v基于云计算的高考数据基于云计算的高考数据/服务中心设计服务中心设计将高考数据将高考数据(结构化数值、文字；非结构化图片、结构化数值、文字；非结构化图片、视频等视频等)及相关服务在一个统一体系中进行综合及相关服务在一个统一体系中进行综合管理管理数据数据/服务资源分布式存储，每个节点对应一个服务资

41、源分布式存储，每个节点对应一个虚拟机，从而通过弹性伸缩克服短时访问井喷虚拟机，从而通过弹性伸缩克服短时访问井喷提供数据提供数据/服务的检索、迁移服务的检索、迁移(数据数据/环境环境)、备份、备份(数据数据/环境环境)等高效资源管理，以及半自动服务等高效资源管理，以及半自动服务组合组合基于基于Google和和Salesforce平台，进行开发平台，进行开发604.1高考智能择校推荐系统高考智能择校推荐系统v按需按需DeepWeb数据数据/服务采集技术服务采集技术自动自动DeepWeb数据接口分析、集成等数据接口分析、集成等DeepWeb服务发现、识别、爬取等服务发现、识别、爬取等手工手工(人人是

42、服务提供者，人人是服务使用者人人是服务提供者，人人是服务使用者)服务倡导者（提出数据服务倡导者（提出数据/服务需求）服务需求）服务提供者（注册数据服务提供者（注册数据/软件服务）软件服务）访问者：评价服务需求描述，或者最终服务质量访问者：评价服务需求描述，或者最终服务质量61v高考数据高考数据/服务中心服务中心跨硬件平台跨硬件平台IntelIntel内核机架服务器内核机架服务器*1*1（2*xeon 4core 2.4G 2*xeon 4core 2.4G cpu,4*4G ECC DDR3 1333cpu,4*4G ECC DDR3 1333内存内存,272G SAS,272G SAS）AM

43、DAMD内核机架服务器内核机架服务器*1*1（2*Opteron 4core 2.4G 2*Opteron 4core 2.4G cpu,4*4G ECC DDR2 667cpu,4*4G ECC DDR2 667内存内存,272G SAS,272G SAS）PowerPower内核刀片服务器内核刀片服务器*4*4（2*power 1core 2.2G cpu,1G 2*power 1core 2.2G cpu,1G ECC DDR 333ECC DDR 333内存内存,40G ATA,40G ATA）IntelIntel内核刀片服务器内核刀片服务器*10*10（1*xeon 1core 3.

44、0G cpu,1*xeon 1core 3.0G cpu,2*512M ECC DDR2 6672*512M ECC DDR2 667内存内存,72G SCSI,72G SCSI）IntelIntel内核普通内核普通PCPC*1*1（1*1*赛扬赛扬 1core 2.6G1core 2.6G，512M 512M DDR333,80G ATADDR333,80G ATA）4.1高考智能择校推荐系统高考智能择校推荐系统62v高考数据高考数据/服务中心跨操作服务中心跨操作系统系统目前已测试目前已测试VM0VM0可用的可用的linuxlinux平台平台UbuntuUbuntu、Cent Cent、SU

45、SESUSE、DebianDebian、Fedora/Red HatFedora/Red Hat而而VMnVMn为任意操作系统（可实现全为任意操作系统（可实现全/半虚拟化）半虚拟化）4.1高考智能择校推荐系统高考智能择校推荐系统63v平台监控与管理(支持PC和手机端)4.1高考智能择校推荐系统高考智能择校推荐系统644.1高考智能择校推荐系统高考智能择校推荐系统v高考数据高考数据/服务资源的统计分析服务资源的统计分析支持支持PC端和手机端的分析与可视化展示端和手机端的分析与可视化展示趋势分析趋势分析对比分析对比分析评价分析评价分析周边环境分析周边环境分析就业率分析就业率分析65五、总结五、总结

46、软件工程国家重点实验室66665.1 5.1 大型云服务软件的开发需求是现实的大型云服务软件的开发需求是现实的v软件是软件是IT系统的灵魂系统的灵魂v人类创造出的软件开发技术不会随着人类创造出的软件开发技术不会随着IT技术的发技术的发展而失去作用或降低重要性。它是我们在新的展而失去作用或降低重要性。它是我们在新的IT环境中开发更大规模、更复杂、更创新的应用软环境中开发更大规模、更复杂、更创新的应用软件系统的有力武器。件系统的有力武器。v软件开发技术不但会跟随软件开发技术不但会跟随IT技术的发展而变化，技术的发展而变化，而且它自己也处在不断的发展过程中。新的软件而且它自己也处在不断的发展过程中。

47、新的软件开发技术将提高人类开发软件系统的能力开发技术将提高人类开发软件系统的能力v云计算为人类使用更大、更复杂的软件系统，提云计算为人类使用更大、更复杂的软件系统，提供了可能。供了可能。软件工程国家重点实验室67675.2 5.2 发展需求与机遇发展需求与机遇流动人口服务流动人口服务生殖健康生殖健康犯罪预防犯罪预防危机应对危机应对社会保障社会保障外来流动人口的压力外来流动人口的压力 人口流动形态推动了珠三角地区的现代化人口流动形态推动了珠三角地区的现代化进程，也在人口、社会、经济等方面带来新问进程，也在人口、社会、经济等方面带来新问题，不断冲击着以往的管理机制，对公共管理题，不断冲击着以往的管

48、理机制，对公共管理与服务部门提出新的要求与服务部门提出新的要求技术需求：技术需求：专业化专业化信息、应用分层处理，信息、应用分层处理，多中心，多中心，海量终端海量终端教育卫生教育卫生民主法制民主法制城镇化与城镇化与工业化进程工业化进程685.2 5.2 发展需求与机遇发展需求与机遇中小企业业务信息服务中小企业业务信息服务面向中小企业面向中小企业商务的云服务商务的云服务技术需求技术需求：低成本专业信息服务、按需服务，数据密集服务低成本专业信息服务、按需服务，数据密集服务中小企业支持珠三角地区经济社会发展中小企业支持珠三角地区经济社会发展中小企业中小企业 1000,000 1000,000增加就业

49、增加就业增加经济活力增加经济活力改善产业结构改善产业结构扩大内需扩大内需克服：克服：技术实力弱技术实力弱缺乏资金缺乏资金长远的预见性差长远的预见性差信息化实施能力差信息化实施能力差促进自主创新促进自主创新695.2 5.2 发展需求与机遇发展需求与机遇大众健康服务大众健康服务健康作为服务健康作为服务健康的公民才能劳动创造价值健康的公民才能劳动创造价值技术需求技术需求：低成专业健康服务、按需服务，数据密集服务低成专业健康服务、按需服务，数据密集服务705.3 5.3 云服务软件开发技术需要创新发展云服务软件开发技术需要创新发展v云计算的分布并发编程和数据库技术技术的现状云计算的分布并发编程和数据

50、库技术技术的现状仅提供仅提供API支持和简单的工具支持，欠缺编程支持和简单的工具支持，欠缺编程模式、开发框架和方法学体系模式、开发框架和方法学体系仅适用于关系较简单的海量（网页）数据的高仅适用于关系较简单的海量（网页）数据的高效处理，欠缺对具有复杂关系的数据的处理能效处理，欠缺对具有复杂关系的数据的处理能力。力。在云平台中，对于开发大规模复杂的企业应用在云平台中，对于开发大规模复杂的企业应用软件系统而言，软件开发技术仍不充分软件系统而言，软件开发技术仍不充分软件工程国家重点实验室7171vWeb应用开发与云服务软件开发应用开发与云服务软件开发软件工程国家重点实验室72J2EEMap/Reduc

51、eStruts、SpringEclipse、OracleJdeveloperNetBeansJ2EE设计模式设计模式IBMMapReduceToolsforEclipse？基础基础API与与技术架构技术架构开发框架开发框架IDE工具工具开发方法学开发方法学5.3 5.3 5.3 5.3 云服务软件开发技术需要创新发展云服务软件开发技术需要创新发展云服务软件开发技术需要创新发展云服务软件开发技术需要创新发展72vWeb数据库与云数据服务数据库与云数据服务软件工程国家重点实验室73JDBCHerbernat、JPA、SDO、JDO传统的关系型数据库传统的关系型数据库（Oracle、MySQL）云数

52、据库服务云数据库服务（BigTable、HBase）BigtableAPI、HbaseAPI？开发框架开发框架API数据库数据库关系代数关系代数？理论体系理论体系5.3 5.3 5.3 5.3 云服务软件开发技术需要创新发展云服务软件开发技术需要创新发展云服务软件开发技术需要创新发展云服务软件开发技术需要创新发展735.4 5.4 结束语结束语v云服务软件系统的开发技术，需要创新、发展和云服务软件系统的开发技术，需要创新、发展和积累。积累。v云服务软件系统的开发技术将提高人类的软件生云服务软件系统的开发技术将提高人类的软件生产能力，满足开发更大规模、更复杂软件系统的产能力，满足开发更大规模、更复杂软件系统的社会需求社会需求软件工程国家重点实验室747475