Google云计算原理与应用.ppt

《Google云计算原理与应用.ppt》由会员分享，可在线阅读，更多相关《Google云计算原理与应用.ppt（26页珍藏版）》请在装配图网上搜索。

1、Google云计算原理与应用 答辩人：栗建行 指导教师：郝卫东 主要内容 Google的“云”在哪里？ Google云计算主要原理及应用 Google云计算平台 GAE开发环境及构建 Google基于安卓的智能家居 Google的“云”在哪里？ 云计算是一个新概念 于 07年第 3季度被提出，是并行计算、分布式计算和网 格计算等技术的混合演进， 经过商业包装的概念 为分布式存储和分布式计算找到了盈利模式 提出以来发展迅速， Google、 Amazon、 Microsoft等公 司都提出了自己的云计算方案 为什么 Google需要“云”？ 系统规模对系统设计的重要性 Google提供的服务：海

2、量信息海量用户，如何又好 又快地提供服务？ Google的“云”在哪里？ Google的“云”无所不在 Google Earth、 Gmail、 Google Docs 云计算技术是 Google大部分应用的基础设施 没有“云计算”，就没有 Google的创新服务 Google云计算主要原理 Google使用的云计算基础架构模式包括四个相互独立 而又紧密结合在一起的系统： Google File System：建立在集群之上的文件系统 MapReduce：针对 Google应用程序的特点提出的编 程模式 Chubby：分布式锁服务 BigTable：模型简化的大规模分布式数据库 Google

3、File System文件系统 Google File System： GFS文件系统为了满足 Google迅速增长的数据处理需求应 运而生 GFS文件系统与过去的分布式文件系统拥有许多相同的目 标：性能、可伸缩性、可靠性以及可用性 GFS文件系统要解决 Google所面临的的与众不同的问题， 具有与 Google应用负载和技术环境相符的特性 Google File System文件系统 新特性主要体现在以下四个方面 1. 集群中的节点失效是一种常态，而不是一种异常 2. Google系统中的文件大小与通常文件系统中的文 件大小概念不一样，文件大小通常以 G字节计 3. Google文件系统中

4、的文件读写模式和传统的文件 系统不同 4. 文件系统的某些具体操作不再透明，而且需要应 用程序的协助完成，应用程序和文件系统 API的 协同设计提高了整个系统的灵活性 Google File System文件系统 系统架构 ： 客户端（ Client)：应用程序的访问接口 主服务器（ Master）：管理节点，在逻辑上只有一个，保 存系统的元数据，负责整个系统的管理 数据块服务器（ Chunk Sever）：负责具体的存储工作 Google File System文件系统 实现机制： 1. 客户端首先访问 Master节点，获取交互的 Chunk Server信息，然后访问这些 Chunk S

5、erver，完成 数据存取工作。这种设计方法实现了控制流和数 据流的分离。 2. Client与 Master之间只有控制流，而无数据流， 极大地降低了 Master的负载。 3. Client与 Chunk Server之间直接传输数据流，同 时由于文件被分成多个 Chunk进行分布式存储， Client可以同时访问多个 Chunk Server，从而使 得整个系统的 I/O高度并行，系统整体性能得到 提高。 MapReduce分布式数据处理 MapReduce Google提出的一个软件架构，是一种处理海量数据的 并行编程模式 用于大规模数据集（通常大于 1TB）的并行运算 MapRedu

6、ce实现了 Map和 Reduce两个功能 Map把一个函数应用于集合中的所有成员，然后返回一 个基于这个处理的结果集 Reduce对结果集进行分类和归纳 Map()和 Reduce() 两个函数可能会并行运行，即使不 是在同一的系统的同一时刻 MapReduce分布式数据处理 MapReduce操作执行流程图 MapReduce分布式数据处理 词频统计流程 ： Chubby分布式锁服务 分布式一致性问题 在一个分布式系统中，有一组的 Process，它们需要确 定一个 Value。于是每个 Process都提出了一个 Value， 一致性就是指只有其中的一个 Value能够被选中作为最 后确

7、定的值，并且当这个值被选出来以后，所有的 Process都需要被通知到 Chubby分布式锁服务 Google云计算中的分布式一致性问题 例如， GFS在物理上往往包含多个 Master，但需要在逻 辑上确定唯一的 Master。如何确定？这是一个分布式 一致性问题 Chubby是 Google为解决分布式一致性问题而设计 的提供粗粒度锁服务的文件系统 Chubby分布式锁服务 Chubby是一个文件系统，如何提供“锁”服务 Chubby中的锁就是文件 在 GFS的例子中，创建文件就是进行“加锁”操作，创 建文件成功的那个 server其实就是抢占到了“锁” 用户通过打开、关闭和读取文件，获取

8、共享锁或者独 占锁；并且通过通信机制，向用户发送更新信息 因此，通过 Chubby可以解决 Google云计算中的分布式 一致性问题 BigTable大规模分布式数据库 BigTable的设计目标 具有广泛的适应性 支持 Google系列产品的存储需求 具有很强的可扩展性 根据需要随时加入或撤销服务器 高可用性 尽管单个节点易损，但要确保几乎所有的情况下系统都可用 简单性 简单的底层系统可减少系统出错概率，为上层开发带来便利 BigTable大规模分布式数据库 BigTable的数据模型 总体上，与关系数据库中的表类似 数据模型包括行列以及相应的时间戳，所有的数据都存 放在表格中的单元里。 B

9、igTable的内容按照行来划分 ，将多个行组成一个小表，保存到某一个服务器节点 中。这一个小表就被称为 Tablet。 BigTable大规模分布式数据库 BigTable的基本架构 B i g t a b l e 主 服 务 器 B i g t a b l e 客 户 端 B i g t a b l e 客 户 端 程 序 库 B i g t a b l e 子 表 服 务 器 B i g t a b l e 子 表 服 务 器 B i g t a b l e 子 表 服 务 器 处 理 数 据 处 理 数 据 处 理 数 据 G o o g l e W o r k Q u e u e G

10、 F S C h u b b y 执 行 O p e n ( ) 操 作 负 责 故 障 处 理 及 监 控 保 存 子 表 数 据 及 日 志 负 责 元 数 据 存 储 及 主 服 务 器 的 选 择 执 行 元 数 据 操 作 及 负 载 平 衡 Google云计算应用 Google在线文档 Google Docs 创建在线的 Word和 Excel，支持主要的文档编辑功能 Google云计算应用 Google在线文档 Google Docs 在线创建演示文档（ PPT），并支持在线演示 Google云计算应用 Google提供的电子邮件服务 Gmail 超大附件、海量存储空间 Goog

11、le云计算平台 GAE 隶属于 PaaS的 Google云计算 属于部署在云端的应用执行环境 支持 Python和 Java两种语言 通过 SDK提供 Google的各种服务，如图形、 MAIL和数据 存储等 用户可快速、廉价（可免费使用限定的流量和存储） 地部署自己开发的应用（如创新的网站、游戏等） Google云计算平台 GAE 在 Google App Engine上部署应用程序 Google基于安卓的智能家居 AndroidHome 智能家居计划 AndroidHome通俗来讲是在 Android操作系统上方的中间件 (middleware，用于不同技术之间的资源共享 )。之前 And

12、roid系统底 层是无法控制更多的端口的。而 AndroidHome能够对家中电子设备提 供对应的程序开发接口即 API。家电符合该接口的设计，既能够被智 能手机或平板电脑连接、控制并进行管理。实现如对音响的开关、音 量调整的设置。也可实现对 LED灯泡的开关、亮度调整等操作，同时 也可在 Android设备上玩射击游戏，室内的灯光会配合剧情而闪烁。 Google面临的问题与展望 问题： 1. Google的云计算平台是私有的环境，特别是 Google的云 计算基础设施还没有开放出来 2. 除了开放有限的应用程序接口之外， Google并没有将云 计算的内部基础设施共享给外部的用户使用，上述的所 有基础设施都是私有的 3. 高能耗与隐私问题 展望： 和目前世界上其他云计算发展前沿的公司微软、亚马逊 相比，谷歌在向云时代开发者基础设施即服务（ IaaS） 和平台即服务（ PaaS）上，进步较为缓慢，在未来的云 计算道路上，谷歌需要将平台及接口进一步开放，需要 更强的云盈利模式和更多方便快捷的云应用 感谢答辩组各位老师！ 题目： Google云计算原理与应用 答辩人：栗建行