大数据概述Oracle大数据解决方案讲义

《大数据概述Oracle大数据解决方案讲义》由会员分享，可在线阅读，更多相关《大数据概述Oracle大数据解决方案讲义（65页珍藏版）》请在装配图网上搜索。

1、提供创新性技术，发挥富有洞察力的影响 Rich 简介简介?Rolta International 董事会顾问 TUSC 前总裁?500 强企业（增长速度最快的 500 家私营公司）在美国设有 10 个办事处；总部设在芝加哥 Oracle 技术&应用高级合作伙伴?Rolta TUSC 前总裁、Rolta EICT International 前总裁 著有以下著作（3 本 Oracle 畅销书 十多年来排名第一的 Oracle 调优书籍）：?Oracle Performing Tips&Techniques(Covers Oracle7&8i)Oracle9i Performance Tips&T

2、echniques Oracle Database 10g Performance Tips&Techniques Oracle Database 11g Performance Tips&Techniques?Oracle 国际用户组前主席 Oracle 中西部用户组现任主席 入选芝加哥企业家名人堂 1998 年 入选安永年度企业家和世界名人堂 2001 年 IOUG 顶级演说家 1991、1994、1997、2001、2006 和 2007 年 12 次荣获 MOUG 顶级演说家称号 国家三人组成功人士奖 2006 年 Oracle 认证大师和 Oracle ACE 总监 普渡大学杰出电子

3、与计算机工程师 2007 年 2 议题议题?Oracle 趋势?现状?技术发展?未来规划 Oracle 趋势趋势 了解了解 Oracle Exadata X-3：内存数据库：内存数据库 4 T DRAM/22 T 闪存闪存 Oracle 首创的技术首创的技术 创新！创新！1979 年，第一个商用关系型数据库管理系统 1983 年，第一个年，第一个 32 位的位的 RDBMS 1984 年，第一个具备读取一致性的数据库 1987 年，第一个客户端年，第一个客户端-服务器模式的数据库服务器模式的数据库 1994 年，首次商业评估和多层安全性数据库评估 1995 年，第一个年，第一个 64 位位的

4、RDBMS 1996 年，首次突破 30,000 TPC-C 1997 年，第一个年，第一个 Web 数据库 1998 年，第一个具备原生 Java 支持并且突破 100,000 TPC-C 的数据库 1998 年，第一个Linux上 的商用 RDBMS 2000 年，第一个支持 XML 语言的RDBMS 2001 年，第一个实现中间层数据库缓存的数据库 2001 年，第一个带有 Real Application Clusters 集群支持的 RDBMS 2004 年，第一个真正的网格数据库真正的网格数据库 2005 年，第一款免费的免费的 Oracle 数据库数据库（10g 快捷版）2006

5、 年，Oracle 首次为首次为 Linux 平台提供支持平台提供支持 2007 年，发布发布 Oracle 11g！2008 年，发布年，发布 Oracle Exadata（Oracle 收购收购 BEA）2009 年，年，Oracle 收购收购 Sun Java、MySQL、Solaris、硬件和、硬件和 OpenOffice 2010 年，年，Oracle 发布发布 MySQL Cluster 7.1、Exadata、Exalogic 2011 年，年，Oracle X2-2、ODA、Exalytics、SuperCluster、大数据、云和社交网络、大数据、云和社交网络 2012 年，

6、年，Oracle X3-2、Oracle 12c OEM、可插拔数据库和、可插拔数据库和 X3-8 2013 年，发布年，发布 Oracle 12c！发布发布 Oracle Exadata X3-8，收购，收购 Acme Packet！6 企业面临的挑战和分析需求企业面临的挑战和分析需求 文化和态度 计划和执行 信息和沟通 风险和利润 效率和利用率 我们知道并我们知道并且已经掌握且已经掌握的知识的知识 我们知道并我们知道并且尚未掌握且尚未掌握的知识的知识 可靠性和完整性 参与度和支持 我不关注我不关注 我不知道我不知道 您没有告诉我您没有告诉我 这是他们的问题这是他们的问题 老板不喜欢我老板不

7、喜欢我 我们不知道我们不知道 制定决策很困难制定决策很困难 并且尚未掌握的知识并且尚未掌握的知识 数据不可靠数据不可靠报告不可追溯报告不可追溯 没有访问权限没有访问权限 不知道我为什么会这样做不知道我为什么会这样做?云计算、移动计算、社交媒体和大数据分析推动产生新的计云计算、移动计算、社交媒体和大数据分析推动产生新的计算模式。算模式。?该模式进而引发业务转型以提升效率该模式进而引发业务转型以提升效率,促进法规遵从促进法规遵从,提升整提升整体业务可持续性体业务可持续性,以及以客户为中心。以及以客户为中心。合规性 加深认识：大数据革命加深认识：大数据革命 收集、存储和分析数据的能力在信息技术带来的

8、影响中始终占有重要一席。在这个数字化程度日益提高的时代，您所做的每件事都会有一个电子记录。随着企业积聚的数据越来越多并达到数百 TB，他们纷纷寻求更加尖端的软件工具对数据进行挖掘和分析，从而帮助企业更好地了解市场和客户，甚至是帮助企业对未来作出预测。?您如何收集和存储数据？您如何收集和存储数据？?您如何传输数据？您如何传输数据？?您如何分析数据？您如何分析数据？?您如何从数据获益？您如何从数据获益？8 大数据为何重要？大数据为何重要？张加万 天津大学软件学院 技术趋势：技术趋势：Gartner Hype Cycle 2012 Gartner 发布的发布的 2012 技术趋势技术趋势 数据量增大

9、数据量增大 数据量大小变得重要数据量大小变得重要?近年来,全球的数据量迅速增长。?2000 年：800 TB(1012)?2006 年：160 EB(1018)?2009 年：500 EB（仅互联网）?2012 年：2.7 ZB(1021)?2020 年：35 ZB？?一天中生成的数据？?Twitter：7 TB?Facebook：10 TB 以上 大数据：创新、竞争力和生产率的下一个前沿 McKinsey Global Institute，2011 年 2.8 x 1020 位的内存空间 John von Neumann（Computer and the Brain，哈佛大学讲稿，发表于半个

10、世纪前）从各种在线来源整理所得的数据 数据量有多少数据量有多少?2004 年每月的互联网流量超过 1E；2010 年每月的互联网流量为 21E。?2012 年，每天创建的数据达到每天创建的数据达到 2.5E（大约等于 1Z(1000E)/年）?2012 年 6 月 Facebook 的 Hadoop 集群的数据量达到 100P?Facebook：每天处理的数据量达到 500T 每小时扫描的 Hive 数据量达到 210T?单个 Jet 引擎 20T/小时小时（此速率与 Facebook 相同！）?Gmail 拥有 4.5 亿用户亿用户?沃尔玛 100 万笔客户交易/小时（相当于 2.5P 的数

11、据库）?大型强子对撞机一年一年产生的数据量达 13P?业务数据每每 1.2 年翻一番年翻一番?19%的市值达 10 亿美元的公司拥有超过公司拥有超过 1P 的数据的数据（2013 年将达到 31%）?2011 年 Oracle 率先发布EB级磁带库级磁带库?之前对人类基因组进行解码需10 年；现在只需一周！IOUG 调查调查*2012 年年 9 月月*大数据带来巨大的挑战与机遇：2012 年 IOUG 大数据战略调查（IOUG=Independent Oracle Users Group，独立的 Oracle 用户组）大数据预测未来天气大数据预测未来天气*EarthRisk 公司的系统基于:8

12、20 亿次 计算 60 年的数据*V 什么是大数据和大数据分析？什么是大数据和大数据分析？?大数据是指规模超出常用软件工具在容许时间内捕大数据是指规模超出常用软件工具在容许时间内捕获、管理和处理能力的数据集。获、管理和处理能力的数据集。?大数据分析是指可处理传统分析方法因数据量过大、大数据分析是指可处理传统分析方法因数据量过大、数据类型过于多样、速度变化过快等原因无法分析数据类型过于多样、速度变化过快等原因无法分析处理的数据。处理的数据。16 每个组织都将使用大数据每个组织都将使用大数据 大数据涵盖以下领域：社交媒体、传感器数据、生物学、交通数据、RFID 数据、环境数据、航空、无线网络、安防

13、与视频数据、零售、医疗、工程系统、搜索数据、摄影、呼叫记录和 CRM/ERP 数据等。17 IOUG 调查调查 2012 年年 9 月月 IOUG 调查调查 2012 年年 9 月月 大数据大数据的特点的特点 财务 电信 零售 生命科学 媒体 政府?大数据的主题大数据的主题 适用于大数据量的软硬件技术 专注于 Web 2.0 技术 数据库横向扩展 关系型&分布式数据分析 分布式文件系统 实时分析?大数据的领域大数据的领域 数字营销优化 数据探索和发现 欺诈检测与防范 社交网络和关系分析 机器生成的数据分析 数据保留 大数据大数据提供商提供商 在最开始的阶段在最开始的阶段我们是如何实现的？我们是

14、如何实现的？?Larry Page 和 Sergey Brin 编写 BigFile；GFS(Google File System)得自于此，接着，MapReduce 将工作映射映射 到到集群的多集群的多工作节点，然后对分布式处理结果做聚合（用于生用于生成成 Google 的的 WWW 索引索引）?Apache 推出了 Hadoop（Facebook、Yahoo、Amazon EC2 和 S3 均采用此框架），此开源版框架采用 HDFS 和和 MapReduce 在同一工作节点对分布处理后的作业做批处理，速度不算超快（秒钟比毫秒秒钟比毫秒），也不适合于交互式分析（不支持更新,只支持叠加）?Go

15、ogle 则推出了则推出了 BigTable（支持压缩的高性能数据存储），Google Maps、Google Reader、Google Earth、YouTube 和 Gmail 均采用该存储系统?Apache 添加了 NoSQL 数据库：数据库：Cassandra 和和 HBase?多个系统开始采用 NoSQL，这其中也包括 Oracle 的的 NoSQL(BerkeleyDB)。大数据大数据基础知识基础知识?我们的目标是组织数据而不移动数据！组织数据而不移动数据！Hadoop HDFS 和 MapReduce（访问 PB 级数据的低成本方式）。HDFS 能够存储任何类型的数据或结构，但

16、 MapReduce 只与键值对配合工作?获取并存储数据获取并存储数据 NoSQL（简单的键值对存储)Amazon DynamoDB（托管）、Apache Cassandra、HBase、BigTable、MongoDB、Oracle NoSQL（分布式键值），或者仅使用原始的 HDFS/GFS 和 MapReduce（这些架构大多都具备 最终最终一致性！）?分析数据分析数据 Google Dremel、Apache Hive 数据仓库、Oracle 数据分析工具(OBIEE)?54%正在使用大数据的公司表示：“项目至关重要！项目至关重要！”多种多种 NoSQL 数据库数据库 最终一致性最终一

17、致性 大数据工具大数据工具革命革命 Google File System(GFS)Google MapReduce Google BigTable Apache/Hadoop 世界 Hadoop 文件系统(HDFS)Apache Hive(DWHSE)MapReduce Hbase Hypertable（百度使用）Cassandra（基于 DynamoDB Amazon 和 BigTable）ZooKeeper 与 Pig （协作）（操作 HDFS）审视审视 Hadoop 生态系统生态系统的另一种方法的另一种方法*这张精彩的幻灯片节选自这张精彩的幻灯片节选自 Cloudera Hadoop 演

18、示文稿，作者是演示文稿，作者是 Todd Lipcon Yahoo!将将 Hadoop 扩展扩展至至 4000 个节点个节点?4000 个节点 100 个机架（每个机架 40 个节点）?32T 的 RAM=8G/节点 x 4000 个节点?超过 30,000 个核心的 CPU 处理能力?16PB 的裸容量,千兆以太网 IOUG 调查调查 2012 年年 9 月月 IOUG 调查调查 2012 年年 9 月月 注意：注意：未来未来 3 年，年，“Not Using Hadoop”所占的比例为所占的比例为 56%2012 年的年的 NoSQL 趋势趋势?Hadoop 扩展至企业级?Microsof

19、t 加入 Hadoop 大军（与 Yahoo!分拆出的 Hortonworks 建立合作伙伴关系?在Windows Server 和 Azure 中采用 Hadoop，有到MSSQL 的连接器）?基于 NoSQL 的解决方案?安全问题阻碍了 NoSQL 的发展?Oracle 以更大的力度投入 NoSQL 竞争（大数据机）“随着客户寻求方法应对新的以及不断发展的数据源随着客户寻求方法应对新的以及不断发展的数据源(如如 Web、传感器、社交网络、和移动应用）引发的数据激增，、传感器、社交网络、和移动应用）引发的数据激增，Oracle 开始通过提供高可用、可靠和可伸缩的开始通过提供高可用、可靠和可伸

20、缩的 NoSQL 数据数据库环境，帮助客户发现和挖掘这些数据的价值。库环境，帮助客户发现和挖掘这些数据的价值。”Oracle 高级副总裁 Andrew Mendelsohn?内存数据网格与 NoSQL 的集成成就了 Facebook 和 Twitter 的成功案例 2012 年 1 月 26 日发布于 DataVersity NoSQL 数据库数据库 超过超过 120 种种 下一代数据架构下一代数据架构 32 所有数据都有所不同！所有数据都有所不同！数据领域特征（Oracle 信息架构框架）IOUG 调查调查 2012 年年 9 月月 IOUG 调查调查 2012 年年 9 月月 开源开源项目

21、项目 框架框架 数据访问数据访问 查询查询/数据流数据流 实时实时 统计工具统计工具 协作协作/工作流工作流 分析分析?两面性 分析具有各种各样的形式和规模：分析具有各种各样的形式和规模：?以下描述模型和预测模型有助于以下描述模型和预测模型有助于零售业销售分析零售业销售分析?获得对数据的有益的了解获得对数据的有益的了解 金融服务分析金融服务分析?风险分析与信用分析风险分析与信用分析?人才分析人才分析?营销分析营销分析?行为分析行为分析?各个领域保持一致集合分析集合分析 欺诈分析欺诈分析?定价分析定价分析?电信电信?供应链分析供应链分析?运输分析运输分析 以上跨职能分析有助于推动组织战略以上跨职

22、能分析有助于推动组织战略石油与天然气石油与天然气 炼油炼油 石油化工石油化工 交流已获得的认识交流已获得的认识交流已获得的认识（可视化）交流已获得的认识（可视化）（可视化）（可视化）冶金冶金 电力电力 化工化工 高管 设计正确的战略、沟通、协作、记分卡、促进行动 职能专员/战略分析师 多维绩效分析、预测分析、预测 直属经理、职能经理 预定义的职能 KPI、知识数据模型、目标、警报 工程师、主管、操作员 基于实时运营数据和业务数据以及现场图的智能 分析解决方案分析解决方案 Oracle 数据库数据库 具备分析功能！具备分析功能！分析功能分析功能 数据挖掘数据挖掘 复杂数据转换复杂数据转换 统计功

23、能统计功能 说明说明 Oracle 数据挖掘 通过复合算法实现模式发现、结果预测以及识别关键预测指标等。ETL 功能,SQL 表达式或 DBMS_DATA_MINING_TRANSFORM 程序包。适用于缺失值、异常值处理、分级和标准化。SQL 统计功能：假设检验（t 测试、F 测试）、皮尔逊相关、交叉表/描述统计（中值和模式等）DBMS_STAT_FUNCS 包添加了分布拟合过程。窗口函数窗口函数/SQL 分析函分析函 计算累积、移动和居中聚合。数数 频繁项目集频繁项目集 图像特征提取图像特征提取 线性代数线性代数 OLAP 空间分析空间分析 文本挖掘文本挖掘 Oracle Data Min

24、ing 所使用的关联算法将以DBMS_FREQUENT_ITEMSET 为基础。Oracle Intermedia 支持提取颜色直方图、纹理和位置颜色。UTL_NLA 程序包提供用于向量和矩阵运算的常用 BLAS 库和 LAPACK 库的子集。除下钻和汇总之外，Oracle OLAP 还支持多维分析、时间序列分析、建模和预测 Oracle Spatial 的分析和挖掘功能包括分级、模式识别、空间关联、共存挖掘和空间聚类、拓扑和 NW 数据模型分析 最短路径、最小生成树、最近邻分析和货郎担问题等等 此标准 SQL 用于通过自动分类和聚类对存储在数据库、文件和 Web 中的文本/文档进行索引、搜索

25、和分析 还提供预先打包的分析还提供预先打包的分析 Oracle 支持支持常用常用 DMF 和和 DMA 函数 分类 示例 适用性?高价值客户、中等价值适用于预测特定结果的常用技术 客户或低价值客户?算法 逻辑回归 朴素贝叶斯 支持向量机 决策树?可能会购买/不会购买 回归 属性重要性 预测连续的数值结果?客户终身价值?制程不良率?医疗诊断因素 根据与目标属性的关系紧密程度对属性进行排名。?买方优先?保险欺诈 识别罕见情况或可疑情况?依法纳税 找到自然分组。?客户细分?生命科学发现?多重回归?支持向量机?最短描述长度 异常检测?一类支持向量机 聚类?增强的 K 均值?正交分区聚类?Apriori

26、 关联?产品捆绑 找到与频繁一起出现的项关联的规则?缺陷分析 特性提取?模式识别 产生新的属性作为现有属性的?数据预测线性组合。?非负矩阵分解 是否具有是否具有预测性预测性？后见之明后见之明 目前正在发生什么洞察洞察 为什么会发生这种情况？先见之明先见之明 将会/应当会发生什么情况？情况？?历史定位?典型 MIS 报告或 BI?Oracle Reports、Hyperion、IBM Cognos 和 SAP BO 等?业务/行为分析、趋势?当前正在发生什么情况？/为什么会发生这种情况？?预测?优化?过去的行为有助于预测未来结果 Oracle 适用于适用于大数据预测分析大数据预测分析的的“开放性

27、开放性”秘诀秘诀 源：Wikipedia“Hadoop 增强了增强了 Oracle 的力量的力量”“Hadoop 旨在增强传统数据库，而不是取而代之。旨在增强传统数据库，而不是取而代之。”Doug Cutting IOUG 调查调查 2012 年年 9 月月 Oracle 为为大数据预测分析大数据预测分析 提供的技术提供的技术 Oracle 用用 10 天的时间访问天的时间访问 Twitter Firehose*选自选自 Larry Ellison 在在 2012 甲骨文全球大会上发表的主题演讲甲骨文全球大会上发表的主题演讲 将关注者、地理位置、荣誉和兴趣等绘制成图将关注者、地理位置、荣誉和兴

28、趣等绘制成图?选自选自 Larry Ellison 在在 2012 甲骨文全球大会上发表的主题演讲甲骨文全球大会上发表的主题演讲 使用使用 X2-8 Exadata,X2-4 Exalytics 及及 Endeca Oracle 为为大数据快速部署提供的技术大数据快速部署提供的技术 已准备就绪！已准备就绪！Exadata X-3：内存数据库内存数据库 4 T DRAM/22 T 闪存缓存闪存缓存 50 优势倍增优势倍增*：访问：访问 1/2000 的数据；的数据；就像就像将将 8P 内存驻留在内存驻留在 X3-8 的的 4T 存储中一样存储中一样 10 TB 用户数据用户数据 需要需要 10

29、TB 的的 IO 1 TB（经压缩）（经压缩）100 GB（使用分区修剪）（使用分区修剪）亚秒级亚秒级（在数据库机上）20 GB （使用存储索引）（使用存储索引）5 GB （使用智能扫描）（使用智能扫描）数据减少到原来的数据减少到原来的 1/10，扫描加快，扫描加快 2000 倍倍 工程化系统的优势！工程化系统的优势！51*Oracle 幻灯片幻灯片 感谢！感谢！IOUG 调查调查 2012 年年 9 月月 Oracle 大数据优势大数据优势?真正成熟和完备真正成熟和完备 与众不同 完全集成完全集成 Hadoop 和加载器和加载器 Exadata 和和 Exalytics BI 集成与解决方案

30、 大数据硬件大数据硬件,其上包括 Hadoop HDFS、MapReduce、R 编程语言（统计和回归等）、Oracle NoSQL，符合 ACID，简单的键-值对数据模型（多服务器上的哈希键 主键/次键和字节数组）Oracle BerkeleyDB（已商业化8年！），该架构能够根据需要使用外部表与 HDFS（Hadoop 文件系统）集成。Oracle Loader for Hadoop(OLH)从 MapReduce 获取分析的数据，最后将这些数据装载到最后将这些数据装载到 11g Database（这样做更加容易）任何级别的并发都是灵活的，任何级别的并发都是灵活的，并且可以横向扩展 Ora

31、cle 对集群化和高可用性(HA)具有深刻理解（不会出现单点故不会出现单点故障！障！）Oracle 管理工具管理工具与 Oracle 专业人员一样具有巨大作用 BerkeleyDB 是全球最广泛使用的数据库工具包，是全球最广泛使用的数据库工具包，全球已部署超过 2 亿个 Oracle 的速度堪称实时实时，不会像批处理那样不会像批处理那样缓慢?建立一支建立一支成功的团队成功的团队?使用能够创造未来的技术！使用能够创造未来的技术！?使每位团队成员觉得 有责任为项目成功出一份力?使每位团队成员各尽其职?与所有团队成员分享成功?成功团队成功团队的特质：尊重尊重 客户忠诚度客户忠诚度 共同目标共同目标

32、沟通沟通 诚信诚信 无私精神无私精神 相互理解相互理解 积极态度积极态度 凝聚凝聚 众人之力，取得 更大成就 信任信任 灵活性灵活性 支持支持 领导力领导力 Oracle 的规模成长到多么的规模成长到多么大大 OW 55 最后的思考最后的思考追逐技术浪潮！追逐技术浪潮！“守株待兔或许也会有所得，但得到的总是守株待兔或许也会有所得，但得到的总是别人争取后剩下的东西。别人争取后剩下的东西。”亚伯拉罕林肯 56 Amazon 一年多来最畅销的一年多来最畅销的 Oracle 数据库书籍！数据库书籍！?也可以从其他地方（例如 Barnes&Noble）获得此书。?在 Kindle 及其他书籍阅读器上提供

33、?为什么该书最畅销？57 最希望拥有的最希望拥有的 58 Rolta 引领大数据分析，而且是引领大数据分析，而且是 Oracle 全球白金全球白金合作伙伴合作伙伴?Oracle 年度合作伙伴：多次获得此荣誉年度合作伙伴：多次获得此荣誉?Oracle 用户组领袖用户组领袖?Oracle 国际用户组前任主席国际用户组前任主席?应用程序与技术咨询委员会的成员应用程序与技术咨询委员会的成员?Oracle 中西部用户组现任主席中西部用户组现任主席?面向服务的架构面向服务的架构 (SOA)?Fusion?Oracle 11g?Oracle 年度杂志顾问年度杂志顾问 业界认可业界认可?九次荣获九次荣获 Or

34、acle Titan 奖奖?全体员工当中有全体员工当中有 6 人获评人获评“Oracle 大师大师”全球首批全球首批 获得高级别应用程序与技术合作伙伴认证的公司获得高级别应用程序与技术合作伙伴认证的公司 Rolta/AdvizeX 技术战略技术战略 60 谢谢！让我们一起改变世界吧！谢谢！让我们一起改变世界吧！61 Rolta 您您 成功路上的合作伙伴成功路上的合作伙伴 在在 Oracle 的支持下实现成功！的支持下实现成功！2012 Oracle 年度合作伙伴年度合作伙伴 （9 次荣获次荣获 Titan 奖奖/卓越奖）卓越奖）之前获奖年度：之前获奖年度：2002、2004、2007、2008

35、、*62?Rolta 和作者均不保证本文档绝对正确。请将评论/问题发送到 。我一直期望能够有所改进！?Rich Niemiec/Rolta?2013。未经 Rich Niemiec 或 Rolta 官员的明示书面批准，不得复制本文档，但可以复制或拷贝本文档以用于演示/会议用途。?参考资料包括：Rich Niemiec 的 Exadata 演示文稿和Oracle11g Database Performance Tuning Tips&Techniques一书、en.wikipedia.org、TechCrunch、电影黑客帝国、信息周刊、Gartner、Computerworld和甲骨文全球大会 联系信息 Rich Niemiec： 版权版权 信息信息 63 人有了知识，就会具备各种分析能力，明辨是非的能力。所以我们要勤恳读书，广泛阅读，古人说“书中自有黄金屋。”通过阅读科技书籍，我们能丰富知识，培养逻辑思维能力；通过阅读文学作品，我们能提高文学鉴赏水平，培养文学情趣；通过阅读报刊，我们能增长见识，扩大自己的知识面。有许多书籍还能培养我们的道德情操，给我们巨大的精神力量，鼓舞我们前进。