云计算概述

云计算简介 谷歌 大云计算 亚马逊 源 论研究热点 总结与展望 一种在规模经济驱动下产生的大规模分布式计算。它是一个资源池，其中包含了抽象的、虚拟化的、可动态伸缩和管理的计算资源、存储资源、平台和服务，并通过因特网按需提供给用户。 0 2. 5 3. 文件被分割成 典型大小为 64 理元数据 数据传输直接在 容错技术 冗余备份 日志 校验和 管理技术 大规模集群安装升级 故障检测 节点动态加入 节能技术 为什么设计 数据种类繁多 海量服务请求 设计目标： 适用性 可扩展性 高可用性 简单性 数据模型 ( 基本架构 数据处理的两个阶段 ( (| j = 1 k ( (D a t a s t o r e 1 D a t a s t o r e nm a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )m a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )I n p u t k e y * v a l u e p a i r sI n p u t k e y * v a l u e p a i r s= = B a r r i e r = = : A g g r e g a t e s i n t e r m e d i a t e v a l u e s b y o u t p u t k e yr e d u c e r e d u c e r e d u c ek e y 1 , i n t e r m e d i a t e v a l u e sk e y 2 , i n t e r m e d i a t e v a l u e sk e y 3 , i n t e r m e d i a t e v a l u e sf i n a l k e y 1 v a l u e sf i n a l k e y 2 v a l u e sf i n a l k e y 3 v a l u e s. . . 为什么使用 半结构化数据：购物车、信息会话管理和推荐商品列表 数据处理方式：简单的读取、写入，简单的 键值 方式存储 实现： 位 的形式存储，处理所有的数据类型 应用： 问题 相关技术 数据均衡分布 改进的一致性哈希算法 数据冲突处理 向量时钟 临时故障处理 数据回传、弱 永久故障手的恢复 成员资格以及错误检测 基于 一致性哈希算法 临时性故障处理机制 弱 W,R,N）和数据回传 永久性故障后的恢复 错误检测 失效停传 定期检测 新节点 A 种子节点 B C 新节点 亚马逊机器映像（ 实例（ 弹性块存储块（ 区域（ 通信机制 安全及容错机制 三个概念： 对象、键、桶 基本操作： 作对象 获取桶中对象 创建或更新桶 列出桶中所有键 删除桶 无 对象 获取对象数据和元数据 创建或更新对象 无 删除对象 获取对象元数据 身份认证 基于 D， 务请求字符串 访问控制 三类用户（ 五类访问权限（ 属性 1 属性 2 条目 1 值 值 条目 2 值 值 属性 1 属性 2 条目 1 值 值 条目 2 值 值 域 1 域 2 用户账户 域 3 基本部分：系统组件、消息、队列 内容推送服务 电子商务服务 简单支付服务 土耳其机器人 开源云计算系统 商用云计算系统 3 设计前提与目标 硬件错误是常态而不是异常 流式数据访问 大规模数据集 简单一致性模型 移动计算比移动数据更划算 异构软硬件平台间的可移植性 冗余备份 副本存放 心跳检测 安全模式 数据完整性检测 空间回收 元数据磁盘失效 快照 副本选择 负载均衡 客户端缓存 流水线复制 逻辑模型：分治的策略 实现机制 分布式并行计算 本地计算 任务粒度 连接（ 分区（ 读取中间结果 任务管道 逻辑模型 基本类型：行关键字、时间戳和列 行关键字 时间戳 列列 列“. . . 物理模型：行分割，列存储 行关键字 时间戳 列 . . . 行关键字 时间戳 列 行关键字 时间戳 列 子表服务器 主服务器 子服务器连接超时 元数据表 映射关系 根子表（ 开发目的 为研究人员提供一个云计算研究平台 设计原则 可移植性 模块化 体系结构 可扩展性 非侵入 工程目标：可扩展性和非入侵 供服务类型 务间的关联度 耦合度高 耦合度低 耦合度低 虚拟化技术 未使用 使用 运行环境 云端 云端 云端 支持编程语言 种 多种 数据库 用限制 最多 最少 较少 实现功能 最少 最多 较多 计费方式 免费、付费 按使用量付费 可扩展性 自动扩充、负载均衡 手动或编程 手动或编程 应用间的隔离 沙盒 虚拟机 分 方法 基础设施共享，信息动态传递 设计原则 发送和存储尽量少的个人信息 保护云中的个人信息 最大限度的实现用户控制 明确和限制数据使用目的 提供反馈机制 监测方法 能力 影响程度 健壮性 主机代理 较好 较差 好 陷阱与检查 好 较好 差 检测点与回滚 好 较好 差 体系结构监控 较差 较好 好 计算机能耗变化曲线 作业请求（ 10，10） 实际实际磁盘利用率 目标目标磁盘利用率 欧几里得距离 30 30 80 50 分配后 40 40 80 50 初始 40 10 80 50 分配后 50 20 80 50 云计算环境的特点 可并行 不信任 远程复制 基于分析的数据库管理 效用 容错 能够在异构环境中运行 能够操作加密数据 能够与商业化的智能产品交互 提高并行优化性能 挑战： 调度延迟 节点失效和数量 数据分发 隐藏限制 步骤： 建立模型 分发数据 调度作业 收集结果和清理 持固定块大小和固定块数目 作业调度 分发控制器 合并控制器 递归控制器 笛卡尔控制器 据中心科学云 服务融合平台 可扩展、灵活性、可靠性的框架 语义分析应用 用 因此二者结合提供了一个针对大规模异构数据集成、查询和推理的完美解决办法 生物学应用 数据库应用 部署安装和性能优化 商业应用 企业文本分析平台 地理信息应用 高性能工作流 安全威胁： 垃圾邮件 新型病毒 用户权限 隐私信息 反垃圾邮件网格 分布式统计 协同贝叶斯学习算法 端恶意软件检测 滞后杀毒 自身漏洞 关键改进： 云端检测 意软件签名自动检测 轻量级桌面引擎 去噪，保留可能插入恶意代码的部分 云端检测反病毒（静态分析、动态分析） 破坏恶意软件的 云平台上的数字签名身份认证 控制个人信息的公开度和使用 全球企业 一种在 规模经济 驱动下产生的大规模分布式计算 规模经济的优势 传输光子要比传输电子容易的多 技术 中型数据中心成本 特大型数据中心成本 比率 网络 $95 每 /月 $13 每 /月 储 $ $ 理 140个服务器 /管理员 1000个服务器 /管理员 度电的价格 地点 定价因素 爱达荷州 水力发电，没有长途输送 加州 无没电，长途输送 夏威夷 运输发电能源 云格（ = 无统一标准 松耦合性数据处理 商业数据 迁移成本（物理分散、逻辑集中） 信息安全