大数据应用案例 大数据培训视频教程

《大数据应用案例 大数据培训视频教程》由会员分享，可在线阅读，更多相关《大数据应用案例 大数据培训视频教程（4页珍藏版）》请在装配图网上搜索。

1、大数据高并发系统架构实战方案（LVS负载均衡、Nginx、共享存储、海量数据、队列缓存）课程讲师：tom5课程分类：Java涉及项目：大数据高并发系统平台架构用到技术：LVS负载均衡、Nginx、共享存储、海量数据其他特性：队列缓存、缓存平台、mysql主从复制涵盖内容：视频、代码、ppt课时数量：21随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。通过该课程的学习，普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台。亮点一：真实环境还原，课程采用了VM环境重现大网站集

2、群服务器环境，真实环境还原再现。亮点二：基础实用，细节决定成败，课程内容在演练过程中重点介绍各种细节，保证初级人员快速入门及高级进阶。亮点三：讲师丰富的海量平台运作经验第一章概述（1课时）简要介绍该系列课程的内容，本章内容如下:主流高并发大数据应对技术介绍CDN镜像技术介绍静态化技术介绍库表水平及垂直拆分技术介绍虚拟化云计算体系介绍高并发系统架构规划高并发大型网站高可靠架构图课程安排简介高并发大型网站高可靠架构网络IP规划搭建实战环境的准备工作SFTP客户端Filezilla使用简介SSH客户端SecureCRT使用简介Centos关闭图形界面启动及开启sshd实战虚拟机clone后网卡重新初

3、始化演练VMware使用技巧演练第二章LVS实现负载均衡软交换实战（5课时）本章演练的是负载均衡技术的核心，主要包括LVS的类型特点适用场景介绍，使用Piranha安装快速搭建LVS负载均衡集群及配置，LVS负载均衡DR模式深入安装调试，LVS调度策略及负载均衡原理详细演练，LVS深入实践NAT模式集群调试。详细内容如下：LVS服务器配置准备关闭centos网卡自动管理实践上网网卡手动配置yum镜像加速yum安装Piranhapiranha-gui启动防火墙配置开通3306口pulse启动piranha安装效果验证nginx服务器配置安装主机名配置添加nginx的yum安装源yum安装ngin

4、xnginx安装效果验证防火墙配置打开80口防火墙配置虚IP包转发规则支持LVS的DR模式Piranha配置DR模式详解演练globalsettings公网IP配置Primaryserverpublicipredundancy配置lvs服务器的冗余，virtualservers配置VirtualIPAddress和realserver主从配置scp复制LVS安装效果验证ipvsadm演练热备切换LVS自服务配置启动Piranha相关轮询配置参数讲解及效果演示Roundrobin：轮转调度轮询（最简单的轮询）Weightedleast-connections:加权最少连接（考虑负载、服务器性能因

5、素）Weightedroundrobin：加权最少连接（考虑服务器性能因素）Least-connection：最少连接（考虑负载因素）等/etc/sysconfig/ha/lvs.cf文件配置内容详细讲解LVS调度策略深入及效果演示服务器集群负载均衡简化的整体结构讲解基于DNS的请求调度基于前端调度器的请求调度四层交换-通过DR实现报文转发四层交换-通过IP隧道实现报文转发四层交换-通过NAT实现报文转发四层交换-三种报文转发技术比较应用层交换-协议内部支持Http重定向应用层交换-其他技术基于后端服务器的请求调度LVS三种模式比较LVS典型NAT模式网络拓扑图Clone服务器配置安装ngin

6、x2及Ivs2Piranha配置NET模式NAT模式效果演示centos配置防火墙关闭，开启转发centos主备LVS复制配置文件验证LVSNAT安装效果第三章Nginx高级配置实战(3课时)本章演练的是静态内容与动态内容服务器分离，主要包括Nginx基础安装配置，Nginx反向代理实战进阶，Nginx动静分离URL转发实战，详细内容如下：Hadoop，Tomcat的安装环境采用debian的tomcat最小安装版虚拟机下载并初始化tomcat服务端口修改主机名修改增加首页jsp服务器识别标志tomcat安装效果测试nginx安装默认目录讲解nginx配置文件详细讲解nginx配置server

7、先后顺序演练hosts文件修改本地dns配置模拟域名访问Nginx调度策略演练：nginx的upstream目前支持4种方式的分配：轮询(默认)、weight、ip_hash、fair、url_hashNginx调度策略-小技巧演练等：backup，down等演练proxy_pass后的url加不加/的区别演练Nginx对URL进行匹配语法规则讲解Nginx对URL进行匹配演练实践Nginx对URL进行匹配-常用规则讲解Nginx一些可用的全局变量详解Nginx代理后，服务端收到参数通过tomcat上编写info.jsp详细查看Nginx对URL重写语法详解：标记，判断文件或目录正则表达式语法

8、讲解Nginx对URL重写例子技巧演练1.简单例子：rewrite/zixun/(0-9+)(/*).html$/zixun/$1/last;2多目录转成参数目录对换设定nginx在用户使用ie的使用重定向到/nginx-ie目录下目录自动加“/”禁止htaccess7禁止多个目录8.文件反盗链并设置过期时间9域名跳转多域名转向三级域名跳转域名镜向某个子目录作镜向第四章基于共享存储实现动态内容静态化加速实战（2课时）本章演练的是基于共享存储实现动态内容静态化加速，主要包括NFS共享文件系统基础安装配置，tomcat动态内容静态化加速实战演练。详细内容如下：nginx负载均衡双机配置文件同步复制

9、检查LVS及整套集群环境运行状态（LVS+nginx+tomcat），停掉tomcat检查clone生成服务器安装配置nfs服务端centos64位yum安装服务端nfs-utilsrpenbind修改nfs配置文件/etc/exports服务端开放共享目录关闭防火墙，启动nfs相关服务端服务nginx服务器，tomcat服务器上nfs客户端安装配置并验证共享效果配置各nfs相关服务开机自启动通过详细Jsp讲解演练将动态内容静态化，提高整体系统性能。tomcat服务器上目录权限开放保证tomcat，nginx服务有权限读写动态内容静态化效果验证第五章缓存平台安装配置使用（2课时）本章演练的主流

10、缓存平台的搭建,主要包括基于memcached搭建缓存平台安装配置，基于缓存编程实战演练。详细内容如下：Clone生成服务器mem配置网卡及主机名下载memcached的rpmforge的yum源rpm安装包yum安装memcachedmemcached安装效果验证，服务自启动配置验证centos、win7上安装telnet客户端telnet命令帮助检查端口11211是否可访问防火墙关掉11211口限制memcached服务器运行状态参数详解memcached启动命令详解并演练下载Memcachedjava客户端jar包memcache客户端测试代码memtest.jsp详解演练statsit

11、ems命令查看memcache中每个slab中存储的item的一些详细信息statsslabs命令查看memcache中slab中内存分配的情况memcache的增删改读效果演练计数器代码count.jsp讲解实战部署到tomcatl和tomcat2，不同服务器jsp增加服务器识别标识，并验证效果AA*、.、八.第八早mysql主从复制安装配置实战（2课时）本章演练数据关键存储主流数据库高可靠平台的搭建，主要包括mysql主从复制基础安装配置，mysql主从复制安装配置进阶及结合缓存编程实战演练。详细内容如下：Clone生成服务器mysqll配置网卡及主机名yum安装mysql服务修改mysq

12、l配置字符集utf8配置mysqld自启动服务并启动验证安装效果mysql设置root密码Mysql遗忘密码如何重置关键使用技巧Clone生成服务器mysql2修改主从配置开启binlog在主服务器上建立帐户并授权slave同步权限登录主服务器的mysql，查询master的状态确定binlog文件名及pos偏移值配置从服务器Slave指定上述主服务器binlog文件名及pos偏移值启动从同步复制服务并检查从服务器复制功能状态详细状态实际讲解Slave_IO_Running:Yes此状态必须YESSlave_SQL_Running:Yes此状态必须YES十分关键外部访问3306口验证配置防火墙

13、打开3306口高级配置解决mysql远程访问授权问题主从服务器验证主从复制效果主服务器中建库建表，插入数据从服务器中查看同步效果若主服务器有老数据的情况初始化步骤详解mysqldump，source等命令使用利用Mysql解决memcahe持久化问题Mysqljdbc驱动jar包下载Mysql测试mysqltest.jsp代码讲解mysql授权小陷阱问题解决计数器表建立，计数器jsp代码修改并在原有memcache基础上增加mysql持久化部分代码，间隔超过10秒存一次db，并重启memcached检查代码效果第七章海量数据平台安装配置实战（2课时）本章演练主流NoSql分布式数据引擎及Map

14、Reduce平台hadoop的搭建，主要包括hadoop分布计算平台基础安装配置，hadoop高级管理，HDFS分布式文件使用深入演练。详细内容如下：HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心HDFS集群、MapReduce分布式计算、Hadoop分布式集群运行图详解Clone出hadoop服务器nameNode配置ip及hostname修改hosts增力口nameNode，dataNode的ip映射nameNode增加hadoop用户及用户组并设置密码nameNode配置ssh自动登录Clone出hadoop服务器dataNode1、2配置ip及hostnam

15、e修改hosts增力口nameNode，dataNode的ip映射dataNode增加hadoop用户及用户组并设置密码dataNode1、2配置ssh自动登录Namenode服务端同步ssh公钥文件到各dataNode1、2ssh验证ssh自动登录Hadoop安装，下载并上传解压缩建立文件目录tmpHadoop配置conf/core-site.xml详解演练Hadoop配置conf/hdfs-site.xml详解演练Hadoop配置conf/mapred-site.xml详解演练Hadoop配置conf/mastersHadoop配置conf/slaves复制Hadoop到slaves服务器

16、启动Hadoop首次执行，格式化HDFS文件系统hadoopnamenode-ormat验证Hadoop启动java自带的小工具jps查看进程hadoopdfsadmin-report查看服务状态Web管理：jobtracker、tasktracker、DFS状态查看Hadoop无法启动可能的原因：防火墙等管理HDFS中的文件详细演练第八章简单队列缓存平台安装配置实战（2课时）本章演练热门的redis搭建简单的队列及缓存平台，主要包括redis安装配置实战，redis实用编程详细演练。详细内容如下：Redis是当前最热门的高级key-value数据库。它跟memcached类似，不过数据可以持

17、久化，而且支持的数据类型很丰富。基于redis搭建简单的队列及缓存平台clone服务器redis配置ip及修改主机名下载安装redis-2.6.11.tar.gz编译原代码编译问题编译环境上网yum安装Redis编译安装，在src目录下生成5个可执行文件，redis-server、redis-cli、redis-benchmark、redis-check-aof、redis-check-dump设置内存分配策略设置/etc/sysctl.conf中vm.overcommit_memory=1,允许分配所有的物理内存，而不管当前的内存状态如何Redis启动并验证Redis远程连接6379口配置防

18、火墙打开6379端口配置指定log及db文件配置自启动服务脚本:/etc/init.d/redis增加权限。配置自启动服务redisRedis配置文件redis.conf修改，其中daemonize:默认情况下，redis不是在后台运行的，需要在后台运行，把该项的值更改为yes。Redis常用命令：delname，existsname，ping，save，redis-cli-p6379saveRedis支持String类型，能存储二进制安全的字符串，最大长度为1GB。也可用来存储数字，并支持对数字加减操作。还支持对其部分的修改和获取操作。List类型操作演练集合(Sets)类型操作演练有序集合

19、(SortedSets)类型操作演练Hash类型操作演练Publish/Subscribe队列订阅发布操作演练数据过期设置TTL，EXPIRE等关键命令Redis事务性支持操作演练MULTI、EXEC、DISCARD等关键命令Redis常用实用命令：KEYS*、randomkey、TYPEkey、rename、renamenx、lastsave、clientlist、monitor等重要命令演练连接操作相关的命令详解：quit:关闭连接(connection)auth：简单密码认证持久化save：将数据同步保存到磁盘bgsave：将数据异步保存到磁盘lastsave：返回上次成功将数据保存到磁盘的Unix时戳shundown：将数据同步保存到磁盘，然后关闭服务远程服务控制info：提供服务器的信息和统计monitor：实时转储收到的请求slaveof：改变复制策略设置config:在运行时配置Redis服务器value操作的命令详解对String操作的命令详解对List操作的命令详解对Set操作的命令详解对Hash操作的命令详解支持多DB详解演练INFO服务信息详解Redis的java客户端类包Jedis下载修改计数器jsp代码count_redis.jsp支持自动持久化的cache最后总回顾整体本次系列高并发大数据架构课程详细信息：