西南证券生产系统同城双中心解决模式

《西南证券生产系统同城双中心解决模式》由会员分享，可在线阅读，更多相关《西南证券生产系统同城双中心解决模式（15页珍藏版）》请在装配图网上搜索。

1、西南证券生产系统同城双中心解决模式证券交易是一种实时性要求很高的金融交易业务，随着交易、管理等技术系统的集中，由此而带来的系统运行风险也高度集中。一旦中心机房发生重大故障和灾难，可能导致公司业务系统的中断，造成重要数据的丢失和破坏，损失不可估量，后果不堪设想。建设备份中心是应对中心机房突发灾难的最有效办法。2011年4月发布的证券期货经营机构信息系统备份能力标准对备份中心建设提出了明确的指标。因此，证券经营机构必须建设并不断完善备份系统，确保重要信息系统的数据安全和关键业务可持续服务，提高抵御灾难的能力，减少灾难造成的损失。备份中心一般由机房基础设施、备份系统、网络设备、运维人员、启用机制等几

2、部分组成。其核心是备份系统，在中心机房运行的核心业务系统，在备份中心都应有备份系统，以保证业务连续性。西南证券根据灾难风险事件发生的实际特点和行业实际运作过程中异地备份中心投资相对较大、管理复杂、效果难以把握等因素，参考上海证券交易所专家组提出的“优先建设同城备份中心”建议，决定采用同城双中心模式进行备份中心建设和运行管理模式探索。(一) 同城双中心的技术实现1. 建设目标西南证券同城双中心建设以实现双中心“建得好，用得顺，顶得上”为目标。“建得好”：建设方式上能够经济、快捷地获得同城双中心所需的机房等基础设施，将人、财、物等投资重点放在业务应用系统的建设和运维效率的提高上。当主中心发生重大技

3、术故障（如主中心的热、温备系统均失效等）或灾难后，核心业务系统能快速恢复，保证业务连续性。“用得顺”：为了有效地防范和降低系统风险，同步建设双中心运维监控系统，梳理运维体制，完善运维制度，规范运维流程，做到平时训练到位，切换时真正能用。“顶得上”：通过对西南证券历史业务数据分析，在风险可控的情况下，公司可以承受RPO10秒，且越小越好；RTO15分钟，且越小越好。在交易期间发生灾难事件需要切换到同城备份中心时，一般会产生业务堆积，因此备份中心核心业务系统生产功能不减少，性能不能降低。为实现上述目标，同城双中心技术系统的设计要求如下：双中心系统（包括网络系统、应用系统等）可完全独立运作，双中心可

4、轮换运行；双中心切换耗时尽可能短，切换操作尽可能简单易行；同时考虑系统的安全性高，系统间的相关性小，可维护性好。2. 数据复制同城双中心应采用成熟、可靠性高的数据复制技术，能够以合适的数据容错技术来实现现实的容灾需求，优先保障业务连续，尽量减少数据丢失。数据库日志复制技术是针对数据库提供的基于逻辑的数据复制方式。通过直接捕获源数据库日志，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。目标端数据库在复制过程中处于在线可用状态。数据库日志复制技术适用于西南证券交易系统所用的Oracle 10g版本，对主系统CPU占用率较小，对网络带宽要求较低，可灵活设置复制的时间间隔

5、（最短为1秒），数据延迟一般可控制在3-5秒。数据复制路径如图所示。采用数据库日志复制技术进行数据复制过程中，因故障中断会有少量数据丢失，西南证券设计建设了旁路捡漏系统找回丢失的数据，并通过业务流程及时处理这部分数据以保障客户利益。3. 系统构架为达到上述建设要求，系统架构按下图所示方式设计： 主备中心采用多层次网络布局，分为核心数据网段（网段1）、核心通讯中间件组接入网段（网段2）和外部接口网段（网段3），最大限度减少彼此相关性，提高网络安全性； 网段1布置数据库服务器和应用服务器，网段2部署核心通讯中间件，网段3主要部署集中交易的其他相关系统,包括：申报、回报、三方存管、帐户管理、文件服务

6、器、沪深报盘系统等； 核心通讯中间件组是客户和管理接入的联接枢纽，所有业务由它们进行转发，其组名和IP地址在两个中心相同，但只在一个中心的路由（主中心）有效； 主中心与营业部、银行、交易所、登记结算公司以及其它外部机构的连接采用电信线路，备中心与营业部、银行、交易所、登记结算公司以及其它外部机构的连接采用联通线路；两中心分别配置沪深单、双向卫星各一套，与地面线路形成备份； 主备中心的ORACLE数据库通过数据库日志复制软件实现数据同步； 集中交易应用系统采用1：1模式部署，备中心的应用服务器组保持运行状态，以最大限度减少切换启用时间。4. 切换原理双中心的核心通讯中间件组是外围接入的联接枢纽，

7、通讯中间件组由多个通讯中间件组成，各通讯中间件负载均衡，对外提供统一的服务。通讯中间件组具有中断重连机制，所有业务请求均通过核心通讯中间件组传递到后台的应用服务器和数据库；主备中心的核心通讯中间件组IP地址相同，启用电信主中心时，其核心通讯中间件组必须有效，而备中心的必须无效；使用备中心时，正好相反。通过控制核心通讯中间件组的启用就可以完成主备系统的切换。(二) 同城双中心的建设、运营西南证券同城双中心解决模式不单纯是一个技术方案，其内容覆盖了建设、运营和切换全过程，包含同城双中心的建设方式、技术架构、监控、运维、决策模式、切换等。具体内容如下：目标模式内涵简述优点建设建设模式基础设施、运维外

8、包快捷经济、增减灵活架构模式系统同构、能力相当操作一致、轮换运行运营监控模式分层集中、统一处置全面及时、准确标准运维模式统一排班、定期轮换常态运维、保障有效切换切换模式一键切换、安全快捷操作简捷、切换迅速决策模式充分授权、班组执行责任明确、决策迅速1. 机房基础设施、运维外包西南证券充分利用本地运营商托管机房的资源优势，采取租用中国电信和联通IDC机房的方式，比较经济、快捷地获得了良好的主备运行中心机房基础环境和电信级专业化的运维保障服务，从而可以让我们更加专注于将人、财、物等投资重点放在业务应用系统的建设、切换过程的优化和运维效率的提高上。两个中心相距10公里，中心之间通过联通和电信的两条裸

9、光纤连接，机房示意图如下。2. 双中心同构，处理能力1：1 在系统部署上，借助上交所专家组的论证意见，西南证券采取了“处理能力1:1，主机部署2+2”的方案。主备中心系统同构且部署相同，主机品牌和处理能力一致，均配置交易、查询服务器各一套。在运维管理上，人员、设备和运行等级一致。两个中心的网络、设备、系统参数和运行模式基本一致，极大地方便了双中心的操作和管理。3. 创新快速简单的切换技术西南证券通过利用IP SLA（Service Level Agreements）协议监控核心通讯中间件组的启用来完成主备系统的切换。在日常运行中，配置主中心核心通讯中间件组的路由优先级高于备中心核心通讯中间件组

10、，使主中心核心通讯中间件组路由有效，同时启用IP SLA协议来监控它的网络状况；切换时，通过网络命令来“DOWN”或“UP”核心通讯中间件组连接的交换机端口来改变它的网络状况。当IP SLA监测到主中心核心通讯中间件组的网络端口处于“DOWN”状态时就取消它的路由，核心通讯中间件的有效路由就收敛到备中心,实现主备切换。西南证券开发了主备中心切换平台、网络切换脚本和报盘机等启动脚本。主备中心控制切换过程，操作人员根据角色授权集中批量执行相应的命令脚本（如图），这种安全、简捷的脚本切换方式称为“一键切换”。4. 建立充分授权的切换机制西南证券通过西南证券同城双中心运维管理办法将主备中心切换的决策权

11、下放到技术部门，其他故障的处置分级授权到运维班组，并制定了不同故障场景的处置预案。主备中心切换分为正常轮换切换、特大故障和灾难应急切换。切换均由中心控制，耗时短、操作简单。 正常轮换切换按照主备中心的定期轮换运行计划，通过主备中心切换平台切换主备系统，启动柜台报盘、银证转帐、启用单独线路银行IP切换、启动备中心的数据库复制软件。 特大故障应急切换若主中心发生数据库热、温备系统、核心应用中间件全组、核心通讯中间件全组发生故障或核心网络系统中断等特大故障时，启动主备中心应急切换流程，将生产系统切换到备份中心，保证生产系统继续运行。 灾难应急切换当主中心机房或所在楼宇发生火灾等灾难事故，导致数据中心

12、不可用时，启动主备中心应急切换流程，将生产系统切换到备份中心，保证生产系统继续运行。5. 实现双中心常态运维在同城双中心建设和运行过程中，西南证券不断探索和完善系统运维管理体系，创造了“四班三运转”模式。按照双运行中心标准，保持备份中心与主中心人员配置等同、管理统一、监控到位。在日常运行监控中，将主备中心监控人员全部统一排班，在主（白、晚班）、备中心监控室各有独立的三个运行值班，公司总部监控室设有运行副班辅助运行。为了确保双中心的运维效果，公司发布了西南证券同城双中心运维管理办法和相应的作业指导书。同时，公司还坚持持续优化应急预案和切换流程，保证切换时的有效响应，进一步提高安全运行能力。6.

13、应用多层次集中监控西南证券采用多层次集中监控系统实现双中心各系统的有效监控和运维。在通信网络层面采用网管系统监控主备中心、内外联单位的网络联接状况；在硬件设备层面采用设备监控系统对服务器等重要设备的状况进行实时集中监控；在软件应用层面使用了集中交易运行监控系统，实现对银证平台、柜台报盘机、通讯中间件和应用服务器等关键环节的监控；并使用与运行监控系统联动的ITSM系统，进行事件、任务、配置和知识库等管理。借助这些技术手段，运维人员能够全面、及时、准确地掌握系统的可用性和实时运行状况，也能够比较标准地按流程来执行操作，从而提高了系统运维的效率和IT服务的质量。(三) 创新点西南证券利用生产系统同城

14、双中心的建设机会，引进先进技术，重点研发科学设计主备系统的技术架构、备份机制和业务处理和运维流程，实现技术升级、系统换代和流程再造。1. IP SLA应用利用IP SLA的监控功能，通过“DOWN/UP”主中心核心通讯中间件组的交换机端口改变其网络状况以调整其路由优先级，实现核心通讯中间件组的有效路由在主备系统间的切换。这种方式操作简单、安全有效，网络路由收敛快，投入较低。2. “一键切换”“一键切换”可以简单、快捷地通过菜单点击，完成主备系统切换和备中心柜台报盘机、银证平台启动、单独线路三方存管银行IP切换的等操作，安全迅速实现主备中心的切换，避免手工操作带来的失误。3. 旁路捡漏系统在双中

15、心切换过程中，必须实现的另外一个重要目标是RPO值尽可能小，这样由于切换带来的客户损失和社会影响也就相应小。通过调整和优化数据复制机制，可以使灾难（故障）发生时的RPO1.6秒（数据复制间隔设置为最小值1秒时）。按西南证券历史最高交易日平均成交数计算，约丢失49笔委托。经分析，这部分数据的丢失是由复制机制造成的，消耗于复制软件对数据的抓取、传递和处置中。为了保障客户利益，尽快尽量找回丢失的数据，及时处理由于系统中断给客户带来的损失和减少对社会的影响，我们设计了旁路捡漏系统。客户端通讯中间件主生产数据库应用服务器客户端通讯中间件备生产数据库应用服务器捡漏程序通讯中间件旁路数据库应用服务器旁路插件

16、旁路插件数据库日志复制旁路捡漏系统地原理是这样的：在备中心安装一套与主系统架构一致的生产系统，然后在主中心核心通讯中间件上开发安装旁路插件，利用旁路插件将客户发往主中心的业务请求同时转发给旁路系统的通讯中间件，再经过旁路应用服务器处理到旁路后台数据库。这个转发过程由于不需应答和返回处理结果，效率极高，可视为无延迟，对生产系统的影响非常小。主中心发生灾难完成切换后，把通过旁路系统得到的后台数据与通过日志复制得到的备中心后台数据进行比较，只需要对最后几秒钟的数据进行比对，就能找回备份系统丢失的数据，再通过相应的业务流程，比如及时通知客户处理，保障客户利益。旁路捡漏系统作为数据库日志复制方式的补充，

17、目前已在测试环境中初步实现。这种基于业务应用来找回丢失数据的方式比其他实现数据零丢失的方式在投入方面更加节省。另外，旁路系统与生产系统的架构和数据处置过程相同，它还可以作为生产系统的在线测试环境使用，可以在线使用旁路过来的客户实时数据在旁路系统中进行升级模块的测试和系统验证工作。4. “四班三运转”在系统切换过程中，人员是重要的决定性因素，人员的素质和熟练程度决定切换的效率和成败。“四班三运转”使得所有运维人员在双中心体系中轮班常态运转，解决了运维能力的持续性问题。主备中心运行维护人员可以常年运行、定期轮换、常态运转，关键时刻才能顶得上，有效地解决了其他模式（如异地备份中心模式）下备份中心人员

18、配备少且长期处于“冷备”状态、缺少学习、缺乏实践、容易麻痹大意或业务生疏、技能和责任心下降，远离公司导致管理真空和制度流程得不到有效执行的问题。5. 多层次监控多层次的集中监控模式实现了双中心各系统的有效监控，使运维人员能够全面、及时、准确地了解系统各方面的运行状态，尽早发现问题，为决策争取到宝贵的时间；同时利用相关工具，运维人员能够比较标准地按流程来执行运维操作，从而提高系统运维的效率和IT服务的质量。(四) 应用和推广西南证券在生产系统同城双中心的建设过程中，采用系统1：1配置，基础设施外包模式，实现RTO与RPO双优的目标，并且在2011年中国证券业协会组织的自主专业评价专家组现场评审中

19、得到了实际验证，为证券公司备份建设探索出了一条可行之路。1. 应用效果同城双中心建成后，公司组织进行了多次RPO、RTO和系统压力测试，以验证设计目标的达成和最终的建设效果。测试结果RPO1.6秒，RTO不到2分钟。 RPO测试测试方式：数据库日志复制软件的数据复制时间间隔设置为1秒（最小时间间隔）；以两台工作站，分别运行交易委托模拟程序，以50笔/秒的速度发送沪、深委托。模拟网络故障（如交换机断电），导致数据复制中断，测试结果如下表所示。复制数据间隔源端委托目标端委托丢失委托中断时间上海委托1s17921712801.6s深圳委托1s16741594801.6s结论：数据库日志复制的数据复制

20、间隔按常规设置为1秒时，数据复制链路中断导致的数据丢失时间RPO约为1.6秒。 RTO测试主备中心交易系统切换主要包括四个环节的操作：主备系统切换、备中心柜台报盘机、银证平台重启、单独线路三方存管银行IP切换。其中，主备系统切换完成后系统即可接受委托，后三个环节完成后，即可进行三方存管转账和启动交易所报盘机报盘。测试方式：从交易接入通讯中间件Ping核心通讯中间件组IP，营业部人员连接柜台系统、网上交易系统进行查询等操作；在主备中心切换平台上进行“一键切换”，记录切换过程中Ping的中断时间、各脚本程序的执行。测试结果如下表所示：时间10s10s10s10s10s小计脚本一主备系统切换30s脚

21、本二存管银行IP切换20s脚本三启动柜台报盘机20s脚本四启动银证平台20s结论：完成主备中心切换（含手工启动交易所报盘机）不到2分钟。2. 推广价值西南证券生产系统同城双中心解决模式，借鉴行业内相关成功经验，充分利用本地运营商资源，建设对等的主备中心，应用网络技术对核心业务系统进行透明切换，使用脚本语言实现人工操作自动化，并在两个中心实施“四班三运转”的运维管理，从而做到生产系统同城灾备切换简单、快捷、可操作性强，切换时间较短，用户体验良好，并真正投入实际运作。西南证券在交易系统“双中心模式”的系统建设和实际运营上闯出了一条可行之路，对其他同行具备一定的借鉴意义。同时，在建设、管理和运维过程中，我们也体会到备份中心建设是一个长期的过程，西南证券将总结同城双中心的建设经验，不断优化灾备建设和运维工作，完善数据同步机制，加强监控体系建设，强化切换脚本安全管理，扩大备份范围，充实应急预案，继续为行业信息技术的发展做出贡献。15