hadoop实战案例57-Flume日志收集系统.ppt
《hadoop实战案例57-Flume日志收集系统.ppt》由会员分享,可在线阅读,更多相关《hadoop实战案例57-Flume日志收集系统.ppt(9页珍藏版)》请在装配图网上搜索。
Hadoop大数据解决方案进阶应用,Hadoop,讲师:迪伦(北风网版权所有),Flume日志收集系统(1),Flume的基本概念FlumeOG架构,课程目标,Flume是什么,由Cloudera公司开源分布式、可靠、高可用的海量日志采集系统数据源可定制,可扩展数据存储系统可定制,可扩展中间件:屏蔽了数据源和数据存储系统的异构性,FlumeOG和NG两个版本,FlumeOGOG:“OriginalGeneration”0.9.x或cdh3以及更早版本由agent、collector、master等组件构成FlumeNGNG:“Next/NewGeneration”1.x或cdh4以及之后的版本由Agent、Client等组件构成为什么要推出NG版本精简代码架构简化,FlumeOG基本架构,Flume使用两个组件:Master和Node,Agent,用于采集数据,将数据源的数据发送给collector通常由source和sink两部分组成Source用于获取数据,可从文本文件,syslog,HTTP等获取数据;Sink将Source获得的数据进一步传输给后面的Collector。syslogTcp(5140)|agentSink(localhost,35853)tail(/etc/services)|agentSink(localhost,35853)Flume自带了直接可用的数据源(source)text(filename)tail(filename)fsyslogTcp(5140),Agent,Flume提供了很多Sinkconsole(format)text(“txtfile”)dfs(“dfsfile”)syslogTcp(“host”,port)agentSink(machine,port)agentDFOSink(machine,port)agentBESink(machine,port)agentE2EChain,Collector,汇总多个Agent结果将汇总结果导入后端存储系统,比如HDFS,HbaseFlume提供了collector的sourcecollectorSource(port)autoCollectorSourcelogicalSourceFlume提供了collector的sinkcollectorSink(fsdir,fsfileprefix,rollmillis)customdfs(hdfspath,format)例子collectorSource(35853)|consolecollectorSource(35853)|collectorSink(file:/tmp/flume/collected,syslog);collectorSource(35853)|collectorSink(hdfs:/namenode/user/flume/,syslog);,欢迎访问我们的官方网站,- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 实战 案例 57 Flume 日志 收集 系统
装配图网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
关于本文