大数据简介,应用及技术简述

《大数据简介,应用及技术简述》由会员分享，可在线阅读，更多相关《大数据简介,应用及技术简述（28页珍藏版）》请在装配图网上搜索。

1、大数据技术与应用 什么是大数据 Part 1 什么是大数据何 为 大 ？ 数 据 度 量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,048,576 TB

2、= 1,152,921,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务 Part 1 什么是大数据大数据定义： 所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点: Volume 数据体量 Velocity 数据速度 Variety

3、 数据多样 Veracity 数据真实 4V特征 Part 1 什么是大数据大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石 油”。 大 数 据 的 特 征 Part 2 大数据的特征Big Data大数据Volume 非 结 构 化 数 据 的 超 大 规模 和 增 长 总 数 据 量 的 8090% 比 结 构 化 数 据 增 长 快10倍 到 50倍 是 传 统 数 据 仓 库 的 10倍 到 50倍数 据 量 体Value 大 量 的 不 相 关 信 息 对 未 来 趋 势 与 模 式 的 可预 测 分 析

4、深 度 复 杂 分 析 （ 机 器 学习 、 人 工 智 能 Vs传 统商 务 智 能 ）数 据 价 值 Variety 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义数 据 多 样 Velocity 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效数 据 速 度 Part 2 大数据的4V特征Volume1Bity 1KB 1MB 1GB 1TB 1PB 1EB 1ZB 1YB1PB相 当 于 50%的 全 美 学 术研 究 图 书 馆 藏 书 信 息 内 容5EB相 当 于 至 今 全 世 界 人 类所 讲 过

5、的 话 语1ZB如 同 全 世 界 海 滩 上 的 沙子 数 量 总 和1YB相 当 于 7000位 人 类 体 内的 微 细 胞 总 和一般情况下，大数据是以PB、EB、ZB为单位进行计量的 Part 2 大数据的4V特征Velocity大数据的处理速度快 实 时 数 据 流 处理 的 要 求 ， 是区 别 大 数 据 引用 和 传 统 数 据仓 库 技 术 ， BI技 术 的 关 键 差别 之 一 ； 1s 是 临 界 点 ，对 于 大 数 据 应用 而 言 ,必 须要 在 1秒 钟 内形 成 答 案 ， 否 则 处 理 结 果 就是 过 时 和 无 效的 ；8 22 54 132 215

6、 327现 在 及 未 来 几 年 内 美 国 的 移 动 网 络 数 据 流 量 增 长 （ PB/月 ）源 自 英 国 Coda研 究 咨 询 公 司大数据的增长速度快 Part 2 大数据的4V特征Variety 行业/企业内数据 互联网数据物联网数据 大数据 数据来源多 企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多 保存在关系数据库中的结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强 数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了

7、很强的关联性。 Part 2 大数据的4V特征Value 价 值 密 度 低 (Value) 价 值 密 度 的 高 低 与 数 据 总 量 的 大 小成 反 比 。 以 视 频 为 例 ， 一 部 1小 时的 视 频 ， 在 连 续 不 间 断 的 监 控 中 ，有 用 数 据 可 能 仅 有 一 二 秒 。 如 何 通 过 强 大 的 机 器 算 法 更 迅 速 地完 成 数 据 的 价 值 “ 提 纯 ” 成 为 目 前大 数 据 背 景 下 亟 待 解 决 的 难 题 。挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息 大 数 据 技 术 简 介 及 现 况 Part 3

8、 大数据技术简介 数 据 采集数 据 预处 理数 据 存储数 据 分 析挖 掘数 据 可视 化 实 时 处理 Spark Storm 机 器 语音R语 言关 联 分析 用 户 画 像构 建 推 理预 测知 识 图 谱2D法时 间 可视 化 多 维法 层 次法分 布 式 架构 Hadoop MapReduce 数 据 库体 系 NoSQLNewSQL MPP混 合架 构Lambda架 构数 据 清理 遗 漏值 处 理 噪 音 数据 数 据 集成 实体 识 别 数 据 冗余 数 据 归约 维度 归 约 数 值 归约硬 件 采 集 传感 技 术 RFID 软 件 采 集系 统 日 志 抓 取企 业

9、特 定 API、 网 络 众 包 Part 3 大 数 据 技 术 现 况 将 在 三 个 环 节 分 层 突 破采 集端 多 源 数据 融 合社 交 数 据 、IOT数 据 等 外 部 数据 与 企 业内 部 数 据融 合 拉 通运 营 化发 展通 过 长 期采 集 积 累 海 量 数 据 资 源 的 企 业 实 现 数据 联 合 运 营 分 析 端处 理 实 时化针 对 网 络 视 频化 潮 流 ， 更加 强 化 对 实 时流 数 据 的 处理 能 力高 效 化数 据 量 的 不 断增 加 ， 云 端 处 理 API结 合后 台 支 撑 将使 数 据 处 理 更 加 高 效 应 用 端智

10、能 化以 机 器 学 习 作为 核 心 ， 将 实现 对 用 户 需 求的 自 我 理 解 和智 能 迭 代云 端 化云 计 算 和 移 动互 联 网 将 促 进大 数 据 应 用 从2B市 场 迅 速 推 广 到2C市 场 Part 3 大数据及其关联技术物 联 网云 计 算 大 数 据 物 联 网 是 大 数 据 的重 要 来 源大 数 据 技 术 为 物 联网 数 据 分 析 提 供 支撑云 计 算 为 物 联 网 提供 海 量 数 据 存 储 能力物 联 网 为 云 计 算 技 术 提 供 了 广 阔 的 应用 空 间云 计 算 为 大 数 据 提 供 了 技术 基 础 ， 大 数 据

11、 为 云 计 算提 供 用 武 之 地 云 计 算 、 大 数 据 和 物联 网 代 表 了 IT领 域 最新 的 技 术 发 展 趋 势 ，三 者 既 有 区 别 又 有 联系 大 数 据 应 用 Part 4大 数 据 主 要 用 途21% 16% 24% 21% 18% 精 准 经营 降 低 成本 智 能 服务 风 险 管理 创 新 经营24%的 大 数 据 企 业 认 为在 为 用 户 实 施 智 能 服 务 方面 有 较 大 帮 助数 据 价 值 体 现 在三 个 方 面增 加 收 入 减 少 支 出 降 低 风 险 Part 4大 数 据 主 要 应 用 行 业能 源 行 业随 着

12、 智 能 电 网 的 发 展 ， 电 力 公 司 可 以 掌 握 海 量 的 用 户 用 电 信 息 ， 利 用 大数 据 技 术 分 析用 户 用 电 模 式 ， 可 以 改 进 电 网 运 行 ， 合 理 设 计 电 力 需 求 响 应 系 统 ， 确 保电 网 运 行 安 全 。物 流 行 业利 用 大 数 据 优 化 物 流 网 络 ， 提 高 物 流 效 率 ， 降 低物 流 成 本 。城 市 管 理可 以 利 用 大 数 据 实 现 智 能 交 通 、 环 保 监 测 、 城 市 规 划 和 智 能安 防 。生 物 医 学大 数 据 可 以 帮 助 我 们 实 现 流 行 病 预

13、测 、 智 慧 医 疗 、 健 康 管 理 ， 同 时 还可 以 帮 助 我 们 解 读 DNA,了 解 更 多 的 生 命 奥 秘 。体 育 娱 乐大 数 据 可 以 帮 助 我 们 训 练 球 队 ， 决 定 投 拍 哪 种 题 财 的 影 视 作 品 ， 以 及预 测 比 赛 结 果 。安 全 领 域政 府 可 以 利 用 大 数 据 技 术 构 建 起 强 大 的 国 家 安 全 保 障 体 系 ， 企 业 可 以 利用 大 数 据 抵 御网 络 攻 击 ， 警 察 可 以 借 助 大 数 据 来 预 防 犯 罪 。个 人 生 活大 数 据 还 可 以 应 用 于 个 人 生 活 ，

14、利 用 与 每 个 人 相 关 联 的 “ 个 人 大 数 据” ， 分 析 个 人 生 活 行 为 习 惯 ， 为 其 提 供 更 加 周 到 的 个 性 化 服 务 。大数据主要应用行业 Part 4大 数 据 主 要 应 用 行 业制 造 业利 用 工 业 大 数 据 提 升 制 造 业 水 平 ， 包 括 产 品 故 障 诊 断 与 预 测 、 分析 工 艺 流 程 、 改 进 生 产 工 艺 ， 优 化 生 产 过 程 能 耗 、 工 业 供 应 链 分析 与 优 化 、 生 产 计 划 与 排 程 。金 融 行 业大 数 据 在 高 频 交 易 、 社 交 情 绪 分 析 和 信

15、贷 风 险 分 析 三 大 金 融 创 新领 域 发 挥 重 大 作 用 。汽 车 行 业利 用 大 数 据 和 物 联 网 技 术 的 无 人 驾 驶 汽 车 ， 在 不 远 的 未 来 将 走 入 我们 的 日 常 生 活 。互 联 网 行 业 借 助 于 大 数 据 技 术 ， 可 以 分 析 客 户 行 为 ， 进 行 商 品 推 荐 和 针 对 性广 告 投 放 。餐 饮 行 业利 用 大 数 据 实 现 餐 饮 O2O模 式 ， 彻 底 改 变 传 统 餐 饮 经 营 方 式 。电 信 行 业利 用 大 数 据 技 术 实 现 客 户 离 网 分 析 ， 及 时 掌 握 客 户 离

16、 网 倾 向 ， 出台 客 户 挽 留 措 施大数据主要应用行业 Part 4大 数 据 应 用 领 域 不 断 丰 富 大 数 据 应 用 领 域 不 断 丰 富 ，从 互 联 网 、 电 信 、 金 融 开 始 向 医 疗 、 交 通 、政 府 领 域 深 入 2018年 中 国 大 数 据 市 场 行业 结 构 预 测基 础 电信 金融交通政府医 疗其他媒 体 社 交娱 乐 38.1%17.1%14.1%13.6%8.1%7.6%1.4%大 数据应 用 领域 零售 安防工业媒 体 社交 娱 乐交通电信 金融政府 Part 4大数据产业发展 数 据 资源 创新活力（内部因素） 市 场 需

17、求 （ 外 部 因 素 ） 2020年大 数 据基 础 软 硬件 互 联网 大 数据 行 业 大数 据 大 数 据平 台大 数 据分 析 产 品 与 互 联 网 和 传 统 行 业 融 合 创 新 将 成 为 大 数据 产 业 爆 发 点 大 数 据 现 状 及 未 来 发 展 Part 5 大数据现状及未来发展习 近平 政 府 管 理 不 仅 要 讲 究 策 略 ， 还 要 讲 究 手 段 ， 比如 大 数 据 技 术 的 应 用 ， 2014年 3月 8日 “ 大 数据 ” 首 次 写 入 政 府 工 作 报 告奥 巴马 “ 将 投 入 巨 资 拉 动 与 大 数 据 相 关 的 产 业

18、” “ 数据 为 “ 未 来 的 石 油 “ ， 是 美 国 综 合 国 力 的 一 部分 ， 是 与 陆 权 、 海 权 、 空 权 同 等 重 要 的 “ 国 家核 心 资 产 ” 。李 克 强 ： 加 快 推 进 全 国 中 小 企 业 征 信 系 统 建 设 ,通 过 大数 据 等 技 术 优 化 中 小 企 业 征 信 资 质 。李 克强 经 济 数 据 和 目 标 的 进 一 步 调 整 ， 中 小 企 业 将 面临 更 大 的 压 力 ， 互 联 网 金 融 除 了 解 决 便 利 性 问题 外 ， 更 重 要 的 是 如 何 围 绕 特 有 的 大 数 据 资 源展 开 对 实

19、 体 经 济 的 服 务中央政府对大数据的重视程度 重 大 机 遇 和 优 势数 据 资 源 大 量积 累 为 大 数 据发 展 提 供 了 良 好 条 件 信 息 技 术 的 广 泛 深 入 应 用 ， 引 发 了 数 据 量 的爆 发 式 增 长 ， 我 国 在 信 息 产 业 不 断 发 展 、信 息 化 不 断 推 进 的 过 程 中 ， 积 累 了 大 量 的数 据 资 源 ， 为 大 数 据 发 展 提 供 了 源 泉 。经 济 社 会 持 续增 长 的 应 用需 求 为 大 数 据 发 展 提 供 了市 场 空 间 大 数 据 技 术 产 品 创 新 正 逐 渐 从 技 术 驱

20、动 转 向应 用 驱 动 ， 旺 盛 的 应 用 需 求 和 巨 大 的 市 场 空间 是 我 国 大 数 据 产 业 创 新 的 强 大 内 生 动 力 。政 府 重 视 和 服务 体 系 建 设为 大 数 据 发 展 创 造 了 优 良环 境 十 八 届 三 中 、 四 中 、 五 中 全 会 指 出 要 利 用 大 数 据 推动 政 府 治 理 能 力 的 提 升 ， 加 快 公 共 数 据 开 放 共 享 ，推 动 大 数 据 在 科 学 决 策 、 政 府 管 理 和 公 共 服 务 等 领域 的 应 用 ， 助 推 简 政 放 权 和 万 众 创 新 。 良 好 的 政 策环 境

21、为 大 数 据 发 展 创 造 了 难 得 的 政 策 机 遇 。2015年 ， 我 国 规 模 以 上 电 子 信 息 产 业 总 规 模 超 过15.5万 亿 元 ， 比“十 一 五 ”期 末 翻 了 一 番 。 大 型 数 据 中 心 向 绿 色 化 、集 约 化 发 展 ， 云 计 算 服 务 逐 渐 成 熟 ， 国 内 龙 头 企业 面 向 大 数 据 新 需 求 ， 积 极 推 出 新 产 品 和 新 服 务 ，一 批 新 兴 的 专 业 化 大 数 据 企 业 崛 起 。产 业 体 系 雏形 初 具 为大 数 据 发 展 提 供 了 产 业基 础 成熟公司 新创公司10亿 元以

22、上1亿 元 -10亿 元5000万 元-1亿 元 1000万 元 -5000万 元1000万元 以 下 珠 三 角 地 区 和京 津 冀 地 区是 大 数 据 产 业 最 具 创 新 活力 的 区 域 。京 津 冀 地 区 和 珠三 角 地 区 呈 现 大中 小 企 业 梯 次 发展 的 健 康 结 构 ，龙 头 企 业 数 量 较多 ， 带 动 能 力 相 对 较 高 。 京 津 冀 和 珠 三 角 成 为 最 具 创 新 活 力 与 带 动 能 力 的 区 域Part 5 大数据现状及未来发展 发展趋势 随 着 大 数 据 技 术 的 快 速 发 展 ， 企 业 和 政 府 部 门 开始

23、已 经 开 始 运 用 大 数 据 来 进 行 业 务 的 分 析 、 预 测 和 决策 。01 机器学习成为智能分析核心技术近 年 来 ， 机 器 学 习 已 经 开始 渗 透 到 生 活 各 个 领 域 ：客 服 机 器 人 、 垃 圾 邮 件 过滤 、 人 脸 识 别 、 语 音 识 别 、个 性 化 推 荐 随 着 大 数据 分 析 能 力 的 不 断 提 高 ，2018年 机 器 学 习 将 继 续 在智 能 分 析 方 面 发 挥 重 要 作用 。 02 多种科技和学科交叉融合大 数 据 技 术 的 发 展 不 仅 能够 将 网 络 计 算 中 心 、 移 动网 络 技 术 和 物

24、 联 网 、 云 计算 等 新 型 尖 端 网 络 技 术 充分 地 融 合 成 一 体 ， 促 进 不同 科 学 技 术 的 交 叉 融 合 ，同 时 还 能 够 促 进 多 学 科 的交 叉 融 合 ， 充 分 发 挥 出 交叉 学 科 和 边 缘 学 科 在 新 时代 的 新 功 能 与 效 用 。 03 政府大数据将迅速发展近 日 ， 国 家 相 关 部 门 就 实 施国 家 大 数 据 战 略 进 行 第 二 次集 体 学 习 ， 指 出 将 推 动 实 施国 家 大 数 据 战 略 ， 加 快 完 善数 字 基 础 设 施 ， 推 进 数 据 资源 整 合 和 开 放 共 享 ，

25、保 障 数据 安 全 ， 加 快 建 设 数 字 中 国 ，更 好 服 务 我 国 经 济 社 会 发 展和 人 民 生 活 改 善 。 因 此 ， 2018年 政 府 将 步 入 大 数 据 建 设快 速 发 展 的 新 阶 段 。04 物联网、云技术、大数据和 网络安全深度融合数 据 管 理 技 术 ， 如 数 据 质量 控 制 、 数 据 准 备 、 数 据分 析 以 及 数 据 整 合 等 方 面的 融 合 程 度 将 在 2018年 达到 新 的 高 度 。 当 我 们 对 智能 设 备 的 依 赖 程 度 增 加 时 ，互 通 性 以 及 机 器 学 习 将 会成 为 保 护 资

26、产 免 遭 网 络 安全 危 害 的 重 要 手 段 。 05 基于知识图谱的大数据应用将成为热门应用场景知 识 图 谱 的 应 用 场 景 非 常广 泛 ， 比 如 搜 索 、 问 答 、推 荐 系 统 、 反 欺 诈 、 不 一致 性 验 证 、 异 常 分 析 、 客户 管 理 等 。 2018年 ， 基 于知 识 图 谱 的 大 数 据 应 用 将衍 生 出 更 多 热 门 应 用 场 景 。 06 隐私的保护与大数据的安全备受关注大 数 据 应 用 在 带 来 便 利 的同 时 ， 也 暴 露 了 一 系 列 问题 ， 人 们 开 始 担 心 个 人 信息 的 安 全 ， 骚 扰 电

27、 话 、 账户 盗 用 、 地 址 泄 露 如何 保 护 隐 私 大 数 据 也 将 提上 日 程 。 Part 5 大数据现状及未来发展 大 数 据 平 台 将 成 为 成 长 性 最 高 的 领 域03 云 计 算 技 术 发 展为 大 数 据 存 储 和挖 掘 提 供 了 重 要的 计 算 和 存 储 资源 保 障 。02智 能 化 、 网 络 化 、平 台 化 加 速 了 数据 的 采 集 和 积 累 。01商 贸 、 政 务 、 金融 、 医 疗 卫 生 、工 业 等 各 行 各 业数 据 指 导 决 策 的需 求 日 益 迫 切 。 各 类 互 联 网 平 台 从 原 有 的 信 息 服 务 平 台 向 “数 据 +”信 息 服 务平 台 转 变 ， 大 数 据 平 台 成 为 了 信 息 通 信 领 域 增 长 性 最 快 领 域 。Part 5 大数据现状及未来发展 TH ANK S