XXX运营商大数据平台规划解决方案课件

《XXX运营商大数据平台规划解决方案课件》由会员分享，可在线阅读，更多相关《XXX运营商大数据平台规划解决方案课件（45页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版文本样式,的,的,单击此处编辑母版标题样式,#,XX,运营商大数据平台规划解决方案,XX运营商大数据平台规划解决方案,目 录,二,、大数据平台整体规划,一、大数据应用发展趋势,目 录二、大数据平台整体规划一、大数据应用发展趋势,大数据,所谓“大数据”，,指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。,。,大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。,从大量数据中挖掘高价值知识是各界对于大数据的一个共

2、识。,海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。,Google,首席经济学家,Hal Varian,大数据主要被用于分析和决策，,企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合,，对企业产生新的价值。,大数据所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过,大数据对,电信,运营商的应用价值体现,3,1,5,4,2,自助分析、生产管道,可视化、资源解耦随,需而动，营销实时，,以业务效率提升为标志。,提升业务效率,数据集中到数据中心,，多数据源管理，透,明服务支持，实时的,决策和预测能

3、力提升,整体经营管理水平。,增强管理水平,数据开放服务、与,OTT,厂商合作的后向收费、,广告等新业务,.,创新商业模式,互联网化的电子渠道,全景体验、个性化商,品推荐、,LBS,位置营,销、面向客户个体的,深度洞察,提升客户体验,以技术驱动为标志，内,存计算、,MPP,、,CEP,分而治之的分布式计算,让运营商实时高效决策,.,技术高效、低成本,大数据对电信运营商的应用价值体现31542自助分析、生产管道,XX,运营商数据,平台现状,精细化营销数据中心,营账系统,经分,(BI),GN,口上网话单,终端,(DM),VAC,短彩信中心,语音通话详单,客服接触记录,流媒体平台详单,位置信令话单,基

4、站信息,116114,企业黄页信息,渠道应用助销信息,经过一二期的建设，精细化运营平台的数据中心，已经,成为,XX,运营商,最大,、内容最丰富,的数据仓库；,随着,数据量的增长,，需要对基础架构做长远规划；,有必要深入,挖掘数据价值,，研究新的商业模式，将成本中心转化为利润中心,XX运营商数据平台现状精细化营销数据中心营账系统经分(BI),5,扩展性,增量式的、几乎无限的扩展,可用性,要求系统总是在线运行,灵活性,灵活可动态改变的数据模型,扩展性,纵向扩展,横向扩展,分布式,资源集中,计算和存储分布,可用性,单份数据,数据复制,一致性,不要使用分布式事务处理,大数据处理的需求和特点,5扩展性增

5、量式的、几乎无限的扩展可用性要求系统总是在线运行灵,低成本运营,一体化运营,精细化运营,全网运营,实时、智能化运营,集中化建设、管理和维护,可不断线性扩展,提高资源综合利用率,标准化功能组件，可共享可复用,按业务量、按需支付,BASS,与,BOSS,、,CRM,的一体化,BSS,与,MSS,、,OSS,、,VAS,等跨域一体化,对外部客户和应用的一体化,片区化、网格化管理,长尾市场、小众市场的支撑,个性化、短周期需求的满足,异地客户、家庭客户、集团客户,一点接入、全网服务、全网客户画像,全国统一套餐、全网营销、统一客服,实时数据获取、处理、分析,智能化主动事件触发,智能管道,移动互联网,业务运

6、营发展趋势,对业务,支撑平台的集中化要求,对,数据,架构的,集中化,要求,集中化、大容量、高扩展、高可用数据库平台：支持全网型数据、跨域数据的整合，形成集中化管理的的企业级数据中心,高,性能：,支持,3G,时代更高的实时性,要求、支持,动态资源共享：支持多租户管理、资源动态按需供应,可重用、标准化组件：形成可重用组件，支持一次开发、各省共享的模式，形成规模型效益,数据集中化趋势使得运营商面临着海量数据的存储及分析问题，大数据在支撑移动业务发展趋势中，充当重要角色。,电信运营商数据集中化趋势,低成本运营一体化运营精细化运营全网运营实时、智能化运营集中化,7,电信,运营,面临的大数据挑战,移动互联

7、网和个人消费领域,业务扩展,和,CEM,导致海量数据的及时分析带来挑战,运营,商一体化集中运营和透明管控，催生巨大的经营分析数据,仓库,，对大数据的存储、性能、开放带来挑战,DPI,和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战,ICT,融合，核心网络、运营支撑和,VAS,业务数据的融合催生海量,User Profile,并集，对大数据的关联分析计算效能带来挑战,移动互联网流量井喷与客户行为分析,业务融合、能力互通带来数据融合,提升客户体验要求分析网络服务数据,IT,系统集中化和行业数据价值挖掘,BSS BI,数据：,河南,17,个地市，每天抽取正常用户数,7000,

8、多万，拨备用户数,3000,多万，,DW,层用户表总量,1,亿多条,；语音清单每天,2.7,亿条数据,，,GPRS,清单,每天,4.2,亿条数据,；账务每天,4.7,亿条数据,；,GPRS,文件每个,100M,左右，其它文件,25M,。,日接口数据量：,2000G,，其中话单,220G,，,WAP,清单,300G,，,工单服务,200G,，,用户、帐务,300G,，其它,980G,。,每月,124TB,数据量入库，历史数据保留,1,年，总数据量,1.45PB,。,按照用户数简单测算,6.5,亿用户下，总数据量,10PB!,联通总部,3G,互联网访问记录查询及分析,系统：,全国,每日新增,10T

9、B,数据，,每月近万亿条,记录，要,存放,6,个月,，约,2PB,的上网记录数据。上网记录入库时间小于,30,分钟，原始上网记录保留,6,个月。上网,查询速度不高于,1,秒，并发查询数,1000,请求,/,秒,。,集群规模,188,个数据节点，存储容量,2.6 PB,7电信运营面临的大数据挑战移动互联网和个人消费领域业务扩展和,传统,数据仓库无法有效存储日益增长的业务,数据存储需求,基础,数据,（,用户资料，产品订购信息）：,15G/,日*,365+40G*12,月,=5T,/,年,考虑,20%,的业务增长率后为,：,6T,/,年,用户上网数据,话单数据：,250T/,年,考虑,20%,的业务

10、增长率后为：,300T/,年,MR,数据,话单数据,：,634G/,日,634G/,日*,365,=227T/,年,考虑,20%,的业务增长率后为,：,272T,/,年,BSS,数据,新增,新增,评估中,日使用流量,（,TB,）,6,月,10,月,随着业务发展数据量的增加，随着应用复杂导致的数据量增加，这些数据量导致了数据存储和处理压力；数据仓库无法线性扩容，管理难度加大，成本高扩容压力大，效率下降,等,传统数据仓库只保存处理后的汇总数据。在大,数据架构下需要对用户原始话单进行长期保存,。需要扩容大量存储空间。,大,数据使得现有的数据处理,方法面临,新问题,用户层,现平台的数据保存周期,大数据

11、的数据保存周期,应用层,KR/CB/DM,层,永久保留,至少,2,年,数据存储层,MK,层,永久保留,至少,2,年,DW,层,5,个月,永久保留,数据获取层,ODS,层,37,天,永久保留,面对海量的数据压力，需要大数据平台,提供可供线性扩容的存储能力。,传统数据仓库无法有效存储日益增长的业务数据存储需求基础数据用,每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。,由于传统数据仓库的数据处理流程与业务保持紧密关联。整个数据加工流程为最终应用服务。为缓解存储压力在数据抽取和清洗阶段会过滤掉与业务无关的数据记录和字段

12、。,大,数据使得现有的数据处理,方法面临,新问题,数据源,明细数据层,（,DW,）,汇总层（,MK,）,报表数据,标签库,指标数据,客户统一视图,应用层,DW&MK,操作型数据,ODS,层,Oracle,数据库,精细化营销架构,短信中心,经分,DM,VAC,GN,话单,流媒体,客服系统,计费中心,MC,话单,彩信中心,MR,数据,BSS,用户互联网联系方式（总部研究院）,2,4,1,2,3,4,现网数据平台是传统关系型数据库架构。大量的用户上网、用户行为等半结构化和非结构化数据无法保存和处理，,缺乏非结构化数据的处理能力。用户上网行为等,互联网行为数据以结构化数据方式保存至数据仓库中。,传统,

13、数据,仓库无法有效应对大数据分析需求,1,现网每日用户上网,HTTP,话单达,14,亿条。每月汇总的记录条数也近,30,亿条。,随着移动互联网正在迅猛增长，,传统数据仓库将很难驾驭，无法满足数据处理时限和事务处理需求。,3,面对海量的数据压力，需要大数据平台提供快速的处理,能力。,每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联,大,数据使得现有的数据处理,方法面临,新问题,传统,数据,仓库组网将是大数据分析的瓶颈,现网精细化营销平台的数据库既存放着所有采集的原始数据，又承担所有的数据加工任务，还承载所有报表和业务应用的数据存储和计算。缺乏对数据分层分级及生命周期的有效管理。,系统

14、,核心架构为,Oracle,数据库,+,小型机,+,磁,阵。数据存放在磁阵上，计算时由数据库服务器从磁阵读到本地后进行计算结果。随着,数据,量增长，磁盘,I/O,、,网络,带宽、数据库服务器的处理能力将存在,瓶颈，处理时延严重,。由于传统架构的可,扩展性,差，无法满足大数据的计算的扩容需求。,为应对海量,数据处理需求,，大数据将从集中数据库向分布式数据库进行,转变。计算和存储资源都由,x86,服务器提供。,大数据使得现有的数据处理方法面临新问题传统数据仓库组网将是大,因为在移动互联网和物联网上需要有新领域的突破，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架

15、构处理吃力。,关系数据库引入对,XML,的支持仍然无法有效处理,ETL,大,数据使得现有的数据处理,方法面临,新问题,传统数据仓库无法有效处理新型的业务数据,主要关键技术,自然语言理解，,文本分词、语义,分析，情感分析或者大规模计算技,术,非结构化数据索引技术，,如搜索,引擎倒排索引技术,多媒体处理，,包括图像识别，语,音识别，多媒体索引等技术,传统数据,仓库无法有效支撑数据合作运营,由于保存原始话单数据周期较短，合作运营无法追溯历史原始数据。,现网传统主数据库的设计只适用与向上层提供既定好的数据分析任务结果。对外开放底层数据将大大消耗系统资源，影响主库正常的数据处理流程。同时数据的处理方式及

16、结果也恐难以满足合作运营的需要,。,大数据平台的架构将数据分层管理。在各层提供数据开放接口，以满足不同数据需求。将更有效支撑数据合作运营。同时历时数据能促使合作在第一时间就开展起来。,因为在移动互联网和物联网上需要有新领域的突破，不同于,4G,、,M2M,将大大加快移动网络数据业务和流量增长,2013,年,4G,网络将占到全球流量的,20%,，,2016,年将超过,3G,网络流量，,2018,年将占据超过,2/3,的移动网络流量。,2013-2018,年，,4G,流量的年复合增长率达到,82.2%,。,2018,年数据业务收入占运营商的份额的,47.3%,ABI Research 2013.09,数据来源：,Ericsson 2013.11,2012,年,9,月,Verizon LTE,网络建成不到,2,年，用户达到,11M,，占,Verizon,用户总数约,12%,，流量消耗占全网流量的,35%,以上。,2013,年,1,月，,4G,流量占比,50%,，,2013,年,11,月，,4G,流量超过,64%,，视频是主要业务,2017,年，全球,4G,终端产生的数据流量是非,4G,终端的