门户网站架构设计方案

上传人:hh****3 文档编号:230563995 上传时间:2023-08-25 格式:DOC 页数:48 大小:4.79MB
收藏 版权申诉 举报 下载
门户网站架构设计方案_第1页
第1页 / 共48页
门户网站架构设计方案_第2页
第2页 / 共48页
门户网站架构设计方案_第3页
第3页 / 共48页
资源描述:

《门户网站架构设计方案》由会员分享,可在线阅读,更多相关《门户网站架构设计方案(48页珍藏版)》请在装配图网上搜索。

1、前台门户网站架构设计方案北京宽连十方数字技术有限公司2010-7 目 录1设计思路32系统结构33网络规划与性能计算33.1网络架构33.2网络架构说明4采纳双防火墙双交换机做网络冗余,保障平台服务4采纳硬件设备负载均衡器,实现网络流量的负载均衡43.3系统测算4系统处理实力要求4业务处理实力要求4系统话务模型43.4配置核算5数据库服务器性能核算5WEB服务器集群性能核算5WEB服务器集群内存性能核算5网络带宽54性能模拟测试与性能推算64.1测试环境64.2测试结果81个客户端模拟不同线和并发恳求结果810个客户端恳求84.3结果分析94.4依据测试结果推算94.5设备清单11硬件设备配置

2、清单11设备技术规格124.6平台扩容的建议121 网站的性能瓶颈分析网站的性能影响因素很多,下面主要从如下4个方面进行分析说明:1) 网络负载a) 公网负载b) 内网负载2) WEB应用服务器性能a) CPUb) 存储,I/O访问c) 内存d) 并发TCP/IP连接数3) 数据库服务器性能a) 数据库参数配置b) 服务器性能(CPU、内存、存储)c) 数据结构的合理性4) 不同WEB应用的处理方式而对不同的性能瓶颈a) 对于静态的网站:静态的HTML页面严格地由标准的HTML标示语言构成,并不须要服务器端即时运算生成。这意味着,对一个静态HTML文档发出访问恳求后,服务器端只是简洁地将该文档

3、传输到客户端。从服务器运行的那个时间片来看,这个传输过程仅仅占用了很小的CPU资源。对于静态HTML的访问瓶颈为:网络带宽、磁盘I/O以与cache(高速缓冲存储器)。b) 对于动态页面因为服务器解析动态页面必需在其传输到客户端前就通过服务器来进行说明,这样就会给应用服务器添加额外的性能消耗,假如进一步要访问数据库,则会增加数据库服务器的性能消耗,则动态页面还有额外的瓶颈:应用服务器的性能,数据库服务器的性能。2 系统架构设计2.1 总体思路为提高网站的高并发性能,提高开发效率与运营效率,主要按如下几个思路进行规划设计:2.1.1 负载均衡1) 四层交换负载均衡:采纳负载均衡器来实现硬件级的四

4、层交换负载均衡,或采纳LVS来实现软件的四层交换负载均衡。2) 通过第三方软件来实现负载均衡,同时实现页面恳求的缓存。通过Nginx实现反向代理服务器集群,同时搭建squid集群以作为静态页面和图片的缓存。3) 通过web服务器的配置来实现负载均衡即通过apache或是Nginx 将客户恳求均衡的分给tomcat1,tomcat2.去处理。2.1.2 WEB应用开发架构思路1) 应用开发实现MVC架构三层架构进行web应用开发2) 页面尽可能静态化以削减动态数据访问,假如是资讯类的网站可以考虑采纳第三方开源的CMS系统来生成静态的内容页面。3) 采纳Oscache实现页面缓存,采纳Memcac

5、hed实现数据缓存4) 采纳独立的图片服务器集群来实现图片资源的存储与WEB恳求2.1.3 数据存储的设计思路1) 数据库拆分,把生产数据库和查询数据库分别,对生产数据库采纳RAC实现数据库的集群。2) 采纳高效的网络文件共享策略,采纳图片服务器来实现页面的图片存储。2.1.4 不同网络用户访问考虑1) 通过引入CDN来解决不同网络服务商的接入速度问题,一般只能解决静态页面的访问问题。2) 在不同运营商机房部署服务器,通过镜像技术来实现不同网络服务商的接入速度问题。2.2 总体架构2.2.1 网站的系统分层架构2.2.2 网站的物理架构2.2.3 网站的开发架构2.2.4 网络拓扑结构备注:1

6、) 采纳双防火墙双交换机做网络冗余,保障平台服务采纳双防火墙通知接通2线路互联网接入,设备之间采纳VRRP协议,在任何一个防火墙、互联网发生故障后均可自动将流量切换到另一端,保证网站的正运行,设备或网络复原后,自动复原。采纳双千兆交换机分别接在2台防火墙上,当某台设备或者网络链路发生故障后,好设备自动接管已坏设备的工作,不影响网站的整体运行,依据业务与真实服务器的数量,交换机可以随时增加。2) 采纳硬件设备负载均衡器,实现网络流量的负载均衡运用硬件设备负载均衡器,将网络流量均衡的分担到WEB服务器集群各节点服务器,保障平台服务器资源均衡的运用。3) 采纳代理服务器,实现软件级的网络负载均衡。4

7、) 数据库服务器分别成生产数据库集群和查询数据库集群,实现生产读写与后台查询统计进行分别,同时生产数据库采纳rac技术进行2.3 架构涉与技术的详解2.3.1 负载均衡1. 基于DNS的负载均衡-一个域名绑定多个IPDNS负载均衡技术是最早的负载均衡解决方案,它是通过DNS服务中的随机名字解析来实现的,在DNS服务器中,可以为多个不同的地址配置同一个名字,而最终查询这个名字的客户机将在解析这个名字时得到其中的一个地址。因此,对于同一个名字,不同的客户机会得到不同的地址,它们也就访问不同地址上的Web 服务器,从而达到负载均衡的目的。这种技术的优点是,实现简洁、实施简洁、成本低、适用于大多数TC

8、P/IP应用;但是,其缺点也特别明显,首先这种方案不是真正意义上的负载均衡,DNS 服务器将 恳求平均地安排到后台的Web服务器上,而不考虑每个Web服务器当前的负载状况;假如后台的Web服务器的配置和处理实力不同,最慢的 Web服务器将成为系统的瓶颈,处理实力强的服务器不能充分发挥作用;其次未考虑容错,假如后台的某台Web服务器出现故障,DNS服务器仍旧会把DNS 恳求安排到这台故障服务器上,导致不能响应客户端。最终一点是致命的,有可能造成相当一部分客户不能享受Web服务,并且由于DNS缓存的缘由,所造成的后果要持续相当长一段时间(一般DNS的刷新周期约为24小时)。所以在国外最新的建设中心

9、Web站点方案中,已经很少采纳这种方案了。2. 通过硬件四层交换实现负载均衡在硬件四层交换产品领域,有一些知名的产品可以选择,比如Alteon、F5等,这些产品很昂贵,但是物有所值,能够供应特别优秀的性能和很敏捷的管理实力。Yahoo中国当时接近2000台服务器运用了三四台Alteon就搞定了3. 通过软件四层交换实现负载均衡软件四层交换我们可以运用Linux上常用的LVS来解决,LVS就是Linux Virtual Server,他供应了基于心跳线heartbeat的实时灾难应对解决方案,提高系统的鲁棒性,同时可供了敏捷的虚拟VIP配置和管理功能,可以同时满意多种应用需求,这对于分布式的系统

10、来说必不行少。一个典型的运用负载均衡的策略就是,在软件或者硬件四层交换的基础上搭建squid集群,这种思路在很多大型网站包括搜寻引擎上被采纳,这样的架构低成本、高性能还有很强的扩张性。4. 通过反向代理服务器实现负载均衡反向代理服务器又称为 WEB 加速服务器,它位于 WEB 服务器的前端,充当WEB服务器的内容缓存器,反向代理服务器是针对 WEB 服务器设置的,后台 WEB 服务器对互联网用户是透亮的,用户只能看到反向代理服务器的地址,不清晰后台 WEB 服务器是如何组织架构的。当互联网用户恳求 WEB 服务时,DNS 将恳求的域名解析为反向代理服务器的 IP 地址,这样 URL 恳求将被发

11、送到反向代理服务器,由反向代理服务器负责处理用户的恳求与应答、与后台 WEB 服务器交互。利用反向代理服务器减轻了后台 WEB 服务器的负载,提高了访问速度,同时避开了因用户干脆与 WEB 服务器通信带来的平安隐患。目前有很多反向代理软件,比较出名的有 Nginx 和 Squid 。Nginx 是由 Igor Sysoev 为俄罗斯访问量其次的 Rambler.ru 站点开发的,是一个高性能的 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。Squid是由美国政府大力资助的一项探讨安排,其目的为解决网络带宽不足的问题,支持 , S,FTP 等多种协议,是现在 Unix 系

12、统上运用、最多功能也最完整的一套软体。1) Squid Squid 是一个开源的软件,利用它的反向代理技术可以提高网站系统的访问速度,下面将重点介绍 Squid 反向代理的实现原理和在提高网站性能方面的应用。Squid反向代理服务器位于本地 WEB 服务器和 Internet 之间 , 组织架构如下图:客户端恳求访问 WEB 服务时,DNS 将访问的域名解析为 Squid 反向代理服务器的 IP 地址,这样客户端的 URL 恳求将被发送到反向代理服务器。假如 Squid 反向代理服务器中缓存了该恳求的资源,则将该恳求的资源干脆返回给客户端,否则反向代理服务器将向后台的 WEB 服务器恳求资源,

13、然后将恳求的应答返回给客户端,同时也将该应答缓存在本地,供下一个恳求者运用。Squid 反向代理一般只缓存可缓冲的数据(比如 html 网页和图片等),而一些 CGI 脚本程序或者 ASP、JSP 之类的动态程序默认不缓存。它依据从 WEB 服务器返回的 头标记来缓冲静态页面, 有四个最重要 头标记: Last-Modified: 告知反向代理页面什么时间被修改 Expires: 告知反向代理页面什么时间应当从缓冲区中删除 Cache-Control: 告知反向代理页面是否应当被缓冲 Pragma: 用来包含实现特定的指令,最常用的是 Pragma:no-cache 注:DNS 的轮询机制将某

14、一个域名解析为 多个IP地址。2) NginxNginx (“engine x”) 是俄罗斯人Igor Sysoev(塞索耶夫)编写的一款高性能的 和反向代理服务器。Nginx 已经在俄罗斯最大的门户网站 Rambler Media()上运行了4年时间,同时俄罗斯超过20%的虚拟主机平台采纳Nginx作为反向代理服务器。在国内,已经有新浪博客、新浪播客、搜狐通行证、网易新闻、网易博客、金山逍遥网、金山爱词霸、校内网、YUPOO相册、豆瓣、迅雷看看等多家网站、频道运用 Nginx 服务器。Nginx 特点如下:1) 工作在OSI模型的第7层(应用层)2) 高并发连接官方测试能够支撑5万并发连接,

15、在实际生产环境中跑到23万并发连接数。 3) 内存消耗少在3万并发连接下,开启的10个Nginx 进程才消耗150M内存(15M*10=150M)。 4) 配置文件特别简洁风格跟程序一样通俗易懂。 5) 成本低廉Nginx为开源软件,可以免费运用。而购买F5 BIG-IP、NetScaler等硬件负载均衡交换机则须要十多万至几十万人民币。 6) 支持Rewrite重写规则能够依据域名、URL的不同,将 恳求分到不同的后端服务器群组。 7) 内置的健康检查功能假如 Nginx Proxy 后端的某台 Web 服务器宕机了,不会影响前端访问。 8) 节约带宽支持 GZIP 压缩,可以添加阅读器本地

16、缓存的 Header 头。 9) 稳定性高用于反向代理,宕机的概率微乎其微。 3) Nginx+squid页面缓存来实现反向代理负载均衡通过Nginx反向代理和squid缓存实现动静分别的架构图如下所示:5. Apache +tomcat集群实现负载均衡。运用 apache和多个tomcat 配置一个可以应用的web网站,用Apache进行分流,把恳求依据权重以与当时负荷分tomcat1,tomcat2.去处理,要达到以下要求:1) Apache 做为 Server ,通过mod_jk连接器连接多个 tomcat 应用实例,并进行负载均衡。2) 同时还要配置session复制,也就是说其中任何

17、一个tomcat的添加的session,是要同步复制到其它tomcat, 集群内的tomcat都有相同的session,并为系统(包括 Apache 和 tomcat)设定 Session 超时时间。2.3.2 缓存1. 系统架构方面的缓存1) Squid缓存架构方面运用Squid进行缓存。注:SQUID运用了LM算法,LM就是页面Header里时间(Date)和Last-Modified时间的差。Date一般是Squid从后面取页面的时间,Last-Modified 一般是页面生成时间。2) Nginx的缓存功能Nginx从0.7.48版本起先,支持了类似Squid的缓存功能;缓存把URL与

18、相关组合当作Key,用md5编码哈希后保存;Nginx的Web缓存服务只能为指定URL或状态码设置过期时间,不支持类似Squid的PURGE指令,手动清除指定缓存页面;采纳MMAP实现,设置的缓存区大小不能超过物理内存+SWEB的值3) 基于memcached的缓存nginx对memcached有所支持,但是功能并不是特殊之强,性能上还是特别之优秀。location /mem/ if ( $uri /mem/(0-9A-Za-z_*)$ ) set $memcached_key $1; memcached_pass 192.168.1.2:11211; expires 70;这个配置会将指明到

19、memcached的abc这个key去取数据。Nginx目前没有写入memcached的任何机制,所以要往memcached里写入数据得用后台的动态语言完成,可以利用404定向到后端去写入数据。Nginx传统缓存的缺点也是它和squid等缓存软件的不同之特色,所以也可看作其优点。在生产应用中它经常用作和squid的搭档,squid对于带?的链接往往无法阻挡,而nginx能将其访问挡住,例如:?和在squid上会被当做两个链接,所以会造成两次穿透;而nginx只会保存一次,无论链接变成还是,均不能透过nginx缓存,从而有效地爱护了后端主机。nginx会特别醇厚地将链接形式保存到文件系统中,这样

20、对于一个链接,可以很便利地查阅它在缓存机器上的缓存状态和内容,也可以很便利地和别的文件管理器如rsync等协作运用,它完完全全就是一个文件系统结构。2. 应用程序方面的缓存1) OSCacheOSCache由OpenSymphony设计,它是一种开创性的JSP定制标记应用,供应了在现有JSP页面之内实现快速内存缓冲的功能,OSCache是个一个广泛采纳的高性能的J2EE缓存框架,OSCache能用于任何Java应用程序的一般的缓存解决方案。OSCache有以下特点:缓存任何对象,你可以不受限制的缓存部分jsp页面或 恳求,任何java对象都可以缓存。拥有全面的API-OSCache API给你

21、全面的程序来限制全部的OSCache特性。永久缓存-缓存能随意的写入硬盘,因此允许昂贵的创建(expensive-to-create)数据来保持缓存,甚至能让应用重启。支持集群-集群缓存数据能被单个的进行参数配置,不须要修改代码。缓存记录的过期-你可以有最大限度的限制缓存对象的过期,包括可插入式的刷新策略(假如默认性能不须要时)。OSCache是当前运用最广的缓存方案,JBoss,Hibernate,Spring等都对其有支持。OSCache的特点:1) 缓存任何对象:你可以不受限制的缓存部分jsp页面或 恳求,任何java对象都可以缓存。 2) 拥有全面的API:OSCache API允许你

22、通过编程的方式来限制全部的OSCache特性。 3) 永久缓存:缓存能被配置写入硬盘,因此允许在应用服务器的多次生命周期间缓存创建开销昂贵的数据。 4) 支持集群:集群缓存数据能被单个的进行参数配置,不须要修改代码。 5) 缓存过期:你可以有最大限度的限制缓存对象的过期,包括可插入式的刷新策略(假如默认性能不能满意须要时)。2) Memcachedmemcached是高性能的分布式内存缓存服务器。一般的运用目的是,通过缓存数据库查询结果,削减数据库访问次数,以提高动态Web应用的速度、 提高可扩展性。Memcached是以Key/Value的形式单个对象缓存。3) 自主开发的内存数据缓存服务a

23、) 独立进程方式的缓存服务对于一些常用的动态数据通过开发程序服务缓存在内存中,供应应其他子系统调用,如下面的数据就可以通过这样方式进行缓存。1) 用户基本信息与状态的信息缓冲2) 列表缓存,就像论坛里帖子的列表3) 记录条数的缓存,比如一个论坛板块里有多少个帖子,这样才便利实现分页。4) 困难一点的group,sum,count查询,比如积分的分类排名b) 集成在WEB应用中的内存缓存在web应用中对于热点的功能,考虑运用完全装载到内存,保证肯定的响应速度,对于须要频繁访问的热点数据,采纳集中缓存(多个可以采纳负载均衡),减轻数据库的压力,比如:很多配置信息,操作员信息等等。2.3.3 页面静

24、态化静态的HTML页面严格地由标准的HTML标示语言构成,并不须要服务器端即时运算生成。这意味着,对一个静态HTML文档发出访问恳求后,服务器端只是简洁地将该文档传输到客户端。从服务器运行的那个时间片来看,这个传输过程仅仅占用了很小的CPU资源。页面静态化就是采纳效率最高、消耗最小的纯静态化的html页面来替换动态页面。我们尽可能使我们的网站上的页面采纳静态页面来实现,这个最简洁的方法其实也是最有效的方法。同时采纳第三方开源的CMS系统来实现网站内容的管理。对于大量内容并且频繁更新的网站,我们无法全部手动去挨个实现页面静态化,所以我们须要引入常见的信息发布系统(CMS),信息发布系统(CMS)

25、可以实现最简洁的信息录入自动生成静态页面,对于一个大型网站来说,拥有一套高效、可管理的CMS是必不行少的。同时,HTML静态化也是某些缓存策略运用的手段,对于系统中频繁运用数据库查询但是内容更新很小的应用,可以考虑运用HTML静态化来实现,比如论坛中论坛的公用设置信息,这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中,这些信息其实大量被前台程序调用,但是更新频率很小,可以考虑将这部分内容进行后台更新的时候进行静态化,这样避开了大量的数据库访问恳求。在进行html静态化的时候还可以运用一种折中的方法,就是前端接着运用动态实现,在肯定的策略下通过后台模块进行定时把动态网页生成静态页面,并

26、定时推断调用,这个能实现很多敏捷性的操作。为了提高静态HTML的访问效率,主要可以对以下几个方面进行优化:网络带宽、磁盘I/O以与cache(高速缓冲存储器)。2.3.4 数据库配置与优化1. 数据库集群对生产数据库采纳RAC实现数据库的集群。2. 数据库与表的散列把生产数据库和查询数据库进行分别,针对系统业务数据的特点,把大的表进行拆分,对于访问较多的表采纳分区表。运用读/写数据库分别,随着系统变得越来越浩大,特殊是当它们拥有 很差的SQL时,一台数据库服务器通常不足以处理负载。但是多个数据库意味着重复,除非你对数据进行了分别。更一般地,这意味着建立主/从副本系统,其中 程序会对主库编写全部

27、的Update、Insert和Delete变更语句,而全部Select的数据都读取自从数据库(或者多个从数据库)。尽管概念上很简洁,但是想要合理、精确地实 现并不简洁,这可能须要大量的代码工作。因此,即便在起先时运用同一台数据库服务器,也要尽早安排在PHP中运用分别的DB连接来进行读写操作。假如正确 地完成该项工作,那么系统就可以扩展到2台、3台甚至12台服务器,并具备高可用性和稳定性。3. 拥有良好的DB配置和备份很多公司都没有良好的备份机制,也不知道如 何恰当地完成这项工作。只有imp是不够的,还须要进行热备份,从而得到超快的速度和超高的牢靠性。另外,在将全部备份文件从服务器上转移出来之前

28、要进行压缩和加密。另外还要确保拥有设计合理的、有用的关于平安、性能和稳定性问题的设定,包括防止数据败坏,其中很多设定都是特别重要的。2.3.5 文件存储1. 文件共享1) HDFS(GFS)HDFS是Apache Hadoop项目中的一个分布式文件系统实现,基于Google于2003年10月发表的Google (GFS)论文。n 特性1) 硬件要求低2) 高容错性3) 易可扩展4) 配置简洁5) 超大文件HDFS采纳master/slave架构。一个HDFS集群是由一个Namenode和肯定数目的Datanodes组成。2) NFS与GFS比较首先从它们的功能上进行分析。NFS即网络文件系统,

29、是由SUN公司开发的。它是FreeBSD支持的文件系统中的一种,允许一个系统在网络上与它人共享书目和文件。通过运用NFS,用户和程序访问远端系统上的文件就像访问本地文件一样。而GFS是Google为了满意本公司快速增长的数据处理要求而开发的文件系统。GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它是针对Google的计算机集群进行设计的,特地是为Google页面搜寻的存储进行了优化。所以从功能上看,它们两者是完全不同的概念。其次从结构上比较,NFS至少包括两个主要部分:一台服务器,以与至少一台客户机。被共享的书目和文件存放在服务器上,客户机远程地访问保存在

30、服务器上的数据。GFS则由一台Master(通常有几台备份)和若干台TrunkServer构成。GFS中文件备份成固定大小的Trunk分别存储在不同的 TrunkServer上,每个Trunk有多份(比如3)拷贝,也存储在不同的TrunkServer上。Master负责维护GFS中的 Metadata,即文件名与其Trunk信息。客户端先从Master上得到文件的Metadata,依据要读取的数据在文件中的位置与相应的 TrunkServer通信,获得文件数据。再从跨平台性上,NFS的基本原则是“容许不同的客户端与服务端通过一组RPCs共享相同的文件系统”,它是独立于操作系统的,容许不同的操作

31、系统共同地进行文件的共享。而GFS则没有这一特点,文件只能被集群系统中的PC所访问,而且这些PC的操作系统一般是Linux。最终从规模上比较,HDFS只应用在大批量的数据共享上。目前Google拥有超过200个的GFS集群,其中有些集群的PC数量超过5000台。集群的数据存储规模可以达到5个PB,并且集群中的数据读写吞吐量可达到每秒40G。而NFS一般没有这么巨大的规模。2. 文件的多服务器自动同步运用Linux 2.6内核的inotify监控Linux文件系统事务。利用开源的lsync监听某一书目,假如书目内文件发生增、删、改,利用Rsync协议自动同步到多台服务器。3. 图片服务器分别特殊

32、是假如程序与图片都放在同一个 APAHCE 的服务器下,每一个图片的恳求都有可能导致一个 D 进程的调用。运用独立的图片服务器不但可以避开以上这个状况,更可以对不同的运用性质的图片设置不同的过期时间,以便同一个用户在不同页面访问相同图片时不会再次从服务器(基于是缓存服务器)取数据,不但快速,而且还省了带宽。还有就是,对于缓存的时间上,亦可以做独立的调整。2.3.6 网络问题解决方案你不行能要求全部的运用人员,都和你的服务器在一个运营商的网络内,而不同网络之间访问速度会很慢,我们可以采纳镜像网站和引入CDN来解决这一问题。1. 智能DNS解析我们可以在不同的网络运营商部署web服务器,通过lin

33、ux上的rsync工具自动同步到不同网络接入商的web服务器上,以作为主站的镜像。然后通过配置智能DNS解析来引导不同网络的访问用户到对应的网络运营商的web服务器。2. CDN假如有足够的投资,也可以采纳CDN(内容分发网),把静态内容(静态页面和图片)进行CDN缓存,以减轻服务器压力。CDN的全称是Content Delivery Network,即内容分发网络。它实行了分布式网络缓存结构(即国际上流行的web cache技术),其目的是通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络边缘,运用户可以就近取得所需的内容,解决 Internet网络拥挤的

34、状况,提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等缘由所造成的用户访问网站响应速度慢的问题。 (也就是一个服务器的内容,平均分部到多个服务器上,服务器智能识别,让用户获得离用户最近的服务器,提高速度。目前,国内访问量较高的大型网站如新浪、网易等,均运用CDN网络加速技术,虽然网站的访问巨大,但无论在什么地方访问都会感觉速度很快。而一般的网站假如服务器在网通,电信用户访问很慢,假如服务器在电信,网通用户访问又很慢。2.3.7 WEB应用开发架构设计思路1. 基于MVC的三层应用开发架构应用开发实现MVC三层架构进行web应用开发,采纳ibatis作为长

35、久层框架,c3p0作为数据库连接池。iBATIS 是一个可以设计和实现更好的 Java 应用程序长久化层的框架。iBATIS 把对象和存储过程或者运用 XML 描述符的 SQL 语句进行了关联。简洁是 iBATIS 最大的优势n ibatis-运用ibatis的十个理由1. 至少能操作10种以上的数据库2. 可配置的caching(包括从属)3. 支持DataSource、local transaction management和global transaction4. 简洁的XML配置文档5. 支持Map, Collection, List和简洁类型包装(如Integer, String)6

36、. 支持JavaBeans类(get/set 方法)7. 支持困难的对象映射(如populating lists, complex object models)8. 对象模型从不完备(不须要修改)9. 数据模型从不完备(不须要修改)10. 你已经知道SQL,为什么还要学习其他东西1) MVC架构示意2) Struts架构客户端发送一个 恳求,通过Struts框架最终获得一个 响应,这一过程特别重要,它是理解Struts框架的重点。上图描述了Struts框架的结构,而下图通过一个活动图更详细描述接受恳求直至返回响应的整个过程:2. 面对服务的应用架构面对服务的应用架构是指构建可分布式的、去中心化

37、的服务器平台,以供应很多不同的应用,数据库被分成很多个小部分,围绕每个部分都会创建一个服务接口(API),并且该接口是访问数据库的唯一途径。最终数据库演化成一个特别浩大的共享资源。这种架构是松散耦合的,并且围围着服务进行构建。面对服务的架构供应应他们隔离特性,一个服务可能有很多台数据库服务器,他们之间的数据是相通的,而对外他们的接口只有一个,外面是无法知道这个服务后面的数据组织是如何搭建的。这样就有了越来越多的应用服务器。这些应用服务器从数据众多的服务(每个服务背后都有数据库或集群数据库)中聚合信息,然后生成我们所看到的Amazon 的各个网站页面。这样各种服务如插件一样组成了一个开放的平台,

38、这样团队的规模就会比较小,比较敏捷。注Amazon就是采纳了这种架构来构 建的,它拥有上千台服务器。2.4 系统软件参数优化在肯定的架构基础上,要提高并发处理实力则须要调整服务器的操作系统内核参数、web服务器(tomcat的参数、apache的参数、Nginx的参数),以使其性能达到最优化。2.4.1 操作系统优化调整系统的内核参数,增大连接数与TCP/IP的超时设置。Linux系统中:在/etc/sysctl.conf配置文件中增加如下内核参数:net.ipv4.tcp_syncookies = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recyc

39、le = 1net.ipv4.tcp_fin_timeout = 52.4.2 tomcat服务器优化增大并发连接数,调整内存参数的设置。1、JDK内存优化:当应用程序须要的内存超出堆的最大值时虚拟机就会提示内存溢出,并且导致应用服务崩溃。因此一般建议堆的最大值设置为可用内存的最大值的80%。 Tomcat默认可以运用的内存为128MB,在较大型的应用项目中,这点内存是不够的,须要调大.Tomcat默认可以运用的内存为128MB,Windows下,在文件/bin/catalina.bat,Unix下,在文件/bin/catalina.sh的前面,增加如下设置: JAVA_OPTS=-Xms【初

40、始化内存大小】 -Xmx【可以运用的最大内存】 须要把这个两个参数值调大。例如: JAVA_OPTS=-Xms256m -Xmx512m 表示初始化内存为256MB,可以运用的最大内存为512MB。2、连接器优化: 在tomcat配置文件server.xml中的配置中,和连接数相关的参数有:maxThreads: Tomcat运用线程来处理接收的每个恳求。这个值表示Tomcat可创建的最大的线程数。默认值150。acceptCount: 指定当全部可以运用的处理恳求的线程数都被运用时,可以放到处理队列中的恳求数,超过这个数的恳求将不予处理。默认值10。minSpareThreads: Tomc

41、at初始化时创建的线程数。默认值25。maxSpareThreads: 一旦创建的线程超过这个值,Tomcat就会关闭不再须要的socket线程。默认值75。enableLookups: 是否反查域名,默认值为true。为了提高处理实力,应设置为falseconnnectionTimeout: 网络连接超时,默认值60000,单位:毫秒。设置为0表示永不超时,这样设置有隐患的。通常可设置为30000毫秒。maxKeepAliveRequests: 保持恳求数量,默认值100。 bufferSize: 输入流缓冲大小,默认值2048 bytes。compression: 压缩传输,取值on/of

42、f/force,默认值off。 其中和最大连接数相关的参数为maxThreads和acceptCount。假如要加大并发连接数,应同时加大这两个参数。web server允许的最大连接数还受制于*作系统的内核参数设置,通常Windows是2000个左右,Linux是1000个左右。2.4.3 apache服务器优化加大并发数量和关闭不须要的模块。因为apache特别消耗内存,尽量轻量化。Apache在配置ContentType的时候可以尽量少支持,尽可能少的LoadModule,保证更高的系统消耗和执行效率同时配置apache和tomcat的组合使之能作到动静分别,apache处理静态页面,t

43、omcat处理动态页面。在处理静态页面或者图片、js等访问方面,可以考虑运用lig d代替Apache,它供应了更轻量级和更高效的处理实力2.4.4 Nginx服务器的优化worker_processes:该参数的值最好跟cpu核数相等,能够发挥最大性能,假如nginx所在服务器为2颗双核cpu,则建议设定为4。3 Web服务架构评测主要对基于tomcat和nginx+tomcat的web服务器的处理性能进行测试,以作为不同性能要求下架构选型的依据3.1 测试环境3.1.1 网络环境1. 内网带宽 千M内网。 内网ping包延迟:15082秒12986条/秒106万从第82秒起先,tomcat

44、占用内存1.1g,但CPU资源被tomcat耗尽,服务器负载急剧上升,top显示已达150,服务器停止响应客户端恳求,客户端恳求速度急剧下降,错包率100%,测试被迫中断。22500200万25毫秒Test11.7G6%,且仍在增加,测试终止。tomcat抛出“java.lang.OutOfMemoryError: GC overhead limit exceeded “异样。Test2293秒4123条/秒120万32500200万50毫秒Test11.7G 3422秒2863条/秒120万服务端从第400秒左右起先,tomcat占用内存到达Xmx指定上限1.7g,Test1、Test2恳求

45、速度急剧下降,起先出现大量错包,422秒以后的错包率超过4.3%,且仍在在增加中,之前的错包率约为0.8%,测试终止。Test2413秒2922条/秒120万42500200万200毫秒Test11.7G 2742秒1727条/秒128万服务端从第740秒左右起先,tomcat占用内存到达Xmx指定上限1.7g,Test1、Test2恳求速度急剧下降,起先出现大量错包,测试终止,达到1.7G前,错包率只有0.008%,达到1.7g后,截止停止测试时,错包率增长到1.2%,且仍在在增加中。 web服务器负载小于2。Test2744秒1608条/秒119万52500200万500毫秒Test11.

46、7G 11595秒742条/秒118万服务端从第1595秒左右起先,tomcat占用内存到达Xmx指定上限1.7g,Test1、Test2恳求速度急剧下降,起先出现大量错包,达到1.7G前,错包率只有0.08%,达到1.7g后,截止停止测试时,错包率增长到2.3%,测试终止。Test21575秒737条/秒116万62500300万1000毫秒Test11.7G 16362秒471条/秒300万在测试进度到80%左右时,tomcat1占用内存达到了Xmx指定上限1.7g,但Test1、Test2恳求速度并未下降,直到600万次恳求全部完成,两个客户端分别有9个丢包,丢包率只有0.003%,最长

47、的响应时长为12.728秒。Test26351秒472条/秒300万3.2.2 Nginx+2个TOMCAT的WEB服务器NO客户端数线程数恳求次数间隔时间测试服务器Tomcat占用内存服务器负载持续时间平均速度完成恳求数最大响应时长平均响应时长测试结果12250150万0毫秒Test11G 2347秒4322条/秒150万93005毫秒0.21毫秒300万次恳求全部完成,无一错包。Test11G322秒4658条/秒150万21244毫秒0.23毫秒22500200万25毫秒Test11.4G 2542秒3690条/秒200万45016毫秒0.27毫秒400万次恳求全部完成,无一错包。Tes

48、t21.4G544秒3676条/秒200万45014毫秒0.27毫秒32500300万50毫秒Test1 1.7G 21140秒2445条/秒278万服务端从第1100秒左右起先,Tomcat1、Tomcat2占用内存到达Xmx指定上限1.7g,Test1、Test2恳求速度缓慢下降,但并无错包,人为终止测试。 Test21.7G1141秒2424条/秒276万42500300万200毫秒Test11.7G 11860秒1490条/秒277万服务端从第1800秒左右起先,Tomcat1、Tomcat2占用内存到达Xmx指定上限1.7g,Test1、Test2恳求速度缓慢下降,但并无错包,人为终

49、止测试。Test21.7G1863秒1482条/秒276万52500500万500毫秒Test11.7G 15475秒913条/秒500万93000毫秒1.09毫秒完成测试,但Tomcat1、Tomcat2占用内存到达Xmx指定上限1.7g,无错包。Test21.7G5565秒898条/秒500万92987毫秒1.11毫秒62500500万1000毫秒Test1968M 110149秒492条/秒500万9077毫秒2.02毫秒完成测试,无一错包。Test21G10149秒492条/秒500万9044毫秒2.02毫秒3.2.3 Nginx+2个TOMCAT的WEB服务器+缓冲NO客户端数线程数恳求次数间隔时间测试服务器Tomcat占用内存服务器负载持续时间平均速度(条/秒)完成恳求数最大响应时长平均响应时长测试结果12250150万0毫秒Test10.2G 164秒23437150万

展开阅读全文
温馨提示:
1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2: 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!