《滴滴大数据离线和实时平台架构分析》由会员分享，可在线阅读，更多相关《滴滴大数据离线和实时平台架构分析（9页珍藏版）》请在装配图网上搜索。
1、滴滴大数据离线和实时平台架构分析本文主要介绍了滴滴的大数据平台，包括3大平台架构体系，分别是实时平台架构体系、离线平台架 构体系、HBase平台架构体系等大数据基础设施和基础平台的技术积累和应用实践。同时也会介绍滴 滴的数据治理体系，数据全链路建设，以及这些基础建设怎么样为滴滴的线上业务服务等方面的实践 经验和积累分享。大数据架构体系毂1在这!ElII：書里X里划10托也-一肚塁f;. 一Krifka窃pHecIliCE HfcViL. TfHhI尿大数据架构体系实时平台架构体系1窝时计算集群架构It吋计贰甑平台 Spark 1.6.1/Z1. FlinkJ.Z Druid O.ia.L-琳胪
2、了知嵌聲包曲呷柏Hin硒齢I計烫引1g-Druid买旳集台数据诣扳-独立的实吋樂酔跟阁燼分洱-任膏级陪営揑/施揑摄澈曰舌谨断融埋作业阪刼Djuid nkSpurk licaiuEiijHrak S(rc aimiHg；VARN实时计算集群架构与流系统隼成的通用架构C =tWi!数据上游:扁fkl，流计律数赔淸洗、改造 fri典型流式系统集成架构实时监控数据流臼实时监控弭因+.炉丈:时就抿情*4ft t-比.圧矗味对MUHAt t-靠年.剧风车tt亂.Jllii1-g 更伴.小世捽临莽储EMf 甘珠拥甜期科眦MmF或尽件C罐W轴哽i芮平什朴O. PI胪DIM 畫VI WMinrwwMltLHH*
3、vrr hmiiBI 实时监控基于 Spark Streaming 的 ETA基于 Flink Streaming 的乘客位置语义推送实时计算平台离线平台架构体系仍他9谊删酣磁遭mUIIVikSVfi町（Kf-em o n *geAsJWflWJjTp-DridBQTi nWllne 名M村 tfrveHamffillA Itfwy Sfwrk SrsMn SfiiYitcH fv?Sjwrkifm： W坏:瞬MJ；S3离线计算平台m傩学口巴数扌居开发平合界剽肚宇段柚沁血沖茂询诩愉口运知:吓.斗泪m甘潇珈自毎突临lei“诩悴*执酋找战ft询站蚩敌掛曲曙剑谢胆杲摆件冷拦般.授申心申孵隠代沖仏列运
4、打愉况僭fj.申烯韓嘲尊举M蹴91数据开发平台 宁frn任务调廩平台创述调朋僧緘 山霑义调尷笛昭自劝鲨汁詡胡朝礪打齐执拧时腔苗丹驚搁 用抱舅舵任狰来轍代疏阳刊执行廝疔 制低昂iH汙威权川佯茂/HF务逅订11也排奁悝揃冏逓 述行枉务报警秦件说HnXfflffi4i#itrtKAi任务调度平台MrH* U申BERVB4brW*畀Wft黑vwapunnMBwan札息业严导申谕f Stiff 1引供臥刈叩苛扩容.nsr卜【讣忒杈Bl|i叭找忆1血鮒刪训临氐歸世訝刘-GiM詡L札流程管理平台HBase平台架构体系瓷和平 冲* :盘 JLFEWJEftKTrrfce实时fi frikil-SW rste左
5、住备雨I lusterAClusterBClustcrCHbase 架构体系HW aster;Regio riserverlR亡gion*亡比2IIIi TabJel为bl 已 2HBasfi弹性调度/资源隔离般 iSrip -Re gio ji serve r3Hgion serve r4TatjleSHBase 弹性调度/资源隔离滴 JUHbase/Phoenix 生态X成熟的H阮-APhxnix数据导入方案N Phoenix挂载H血外表成为实肚离线混合分析引墾 Phoenix通过奚时幵发平ftMSstreaming任务接收讪加数据4. 支持丿DM檢口 +数据唐常用刈基本支持（join不能针对两个大謝5、H过Q u e rySrv石展供內血查询服务侈语言）鼠支持沖日k on phoenix （且有成熟应用滴滴 Hbase/Phoenix 生态
滴滴大数据离线和实时平台架构分析
