大数据离线分析项目
《大数据离线分析项目》由会员分享,可在线阅读,更多相关《大数据离线分析项目(5页珍藏版)》请在装配图网上搜索。
1、项目总体需求、具体设计1、总体需求:捕获用户每天的行为数据,生成业务日志文件,根据日志文件清洗、分析、提取出需要的价值信息(pv:页面浏览量uv:独立访客数独立IP会话时长等),对网站的良好运营提供有价值的指标。2、具体设计2.1捕获(JsSDK)用户行为数据(launch事件、pageView事件、event事件、chargerequet事件)2.2将捕获的数据发送给web服务器,生成日志文件(Nginx)2.3将日志文件上传至文件存储系统中(Shell脚本、Flume)2.4在文件存储系统中对日志文件进行清洗,过滤掉脏数据和不需要的字段(MapReucejob任务)2.5将过滤后的日志文件
2、导入到数据库中(HBase)2.6通过MapReduce程序或Hive进行统计分析(Hive)2.7将统计分析后的结果导入到本地数据库中进行永久储存(Mysql)2.8在前端进行展示(SpringMVC+Highcharts)项目架构(画图)具体分为三个部分(如下图所示)数据收集层hadoop、hive、flume、kafka、shellfllunelflumed后自程主1J哙斥甘刍玄送到启土程展1HDFS数据分析层hive、MapReduce、spark1. 数据展示层springmvc+highcharts三、技术选型、特点、为什么JsSDK捕获前端页面数据。Javascript编写页面日
3、志生成与发送工具(原则:保持对业务代码最小影响)特点:采用原生的JavaScript编写,以js文件嵌入到前端,页面触发业务所关注的事件(按照收集数据的不同分为不同的事件)时调用相关方法。Javasdk后台服务日志生成与发送工具JavaSDK代码很简单,可以打成jar包或者直接拷贝类到具体的项目中,正常逻辑处理到JavaSDK所关注的事件后,调用JavaSDK提供的api即可。Nginxweb服务器,产生日志文件特点:Nginx是一个小巧而高效的Linux下的web服务器软件,相比较Apache它不仅有稳定性、丰富的功能集、示例配置文件,更重要的是Nginx是基于事件的,它的内存使用很低,系统
4、资源消耗小很多。shell脚本上传日志文件(数据量一般比较小的场景,不会立即进行分析)分割日志,每天定时分割成昨天的日志文件。(Visplit.sh)上传到HDFS(viput2hdfs.sh)flume上传(数据量一般比较大的场景,需要实时处理。)HBase数据库数据解析以后,我们把它存入HBase表。因为:不同的事件,最后上传到HDFS里面每行数据的字段数量是不一样的;而且HBase中,单表数据量相对比较大MySql最终结果存储Mysql是关系型数据库,结构十分清晰,能够与JavaWeb中的SpringMVC进行很好的对接;而且SQL语句是结构化的查询语言,方便运营页面查询数据Spring
5、MVC+Highcharts进行报表显示四、具体实现需求(分析了哪些功能pv、uv)主要实现需求:Pv:页面的浏览次数,衡量网站用户访问的网页数量;用户每打开一个页面就记录一次,多次打开同一个页面则浏览量累计。描述用户访问网站信息,应用于基本的各个不同计算任务Uv:独立访客数1天内访问某站点的人数(以cookie为依据)1天内同一访客的多次访问只计为1个访客Stime:会话时长详细需求:港跃用户数也懈专祈-地域牙衲模埃用户跳二血览域分斫项a具休设计用戸通口那叮-网站进人公司丙国四用户测览尽考分析孝块用尸打开一坎艺麻唸曰顶面烫事r折模块订单讦営;1认购阿甲隔工订篁改付订里订里甕i成支门仃单退藍订
6、里五、项目中遇到了哪些问题,怎么解决1、日志格式有点混乱,以至于给后面的数据清洗带来困扰办法:最后调整数据格式,并重新定义了分隔符2、对日志文件进行分析时,建立Hive外部表与Hbase表的链接字段搞错,以至于HBase与Hive整合不成功办法:查看数据字典,查找字段,并将hive外部表的字段名和HBase表的列名一样。六、项目总结通过本次项目搭建,我对大数据的实际应用,以及客户需求的具体实现有了更为清晰的认识,同时也对之前所学到的知识进行了温故与整合。同时看到了自己的很多不足,究其原因,是对Hadoop以及诸多协作框架的理解应用仅限于皮毛,缺乏透彻的研究,实际开发能力仍大有欠缺,需要更多的实战来历练。并清楚了自己以后学习的重总之,通过本次项目搭建我收获颇丰,受益匪浅,点,努力的方向。
- 温馨提示:
1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2: 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 综合管廊智能控制方案ppt课件
- 世界知名放射性药物防护解决方案提供者TEMA-介绍课件
- 三年级下册《位置与方向》第一课时课件
- 阜新房地产市场调研报告
- 化学竞赛基础化学键与分子结构-课件
- 幼儿园班级管理分享ppt课件
- 组织变革的有效管理ppt课件
- 八年级数学下册第19章矩形菱形与正方形191矩形1矩形的性质课件新版华东师大版
- 八年级数学下册第19章矩形菱形与正方形191矩形1《矩形的性质》课件
- 八年级数学下册第1章12直角三角形课件新版北师大版
- 意识障碍分类及护理ppt课件
- 约分与通分的整理与复习ppt课件
- 八年级数学下册第19章矩形菱形与正方形192菱形1《菱形的性质》课件
- 八年级数学下册第19章四边形检测卷练习课件(新版)沪科版
- 世界经济概论ppt课件