数据架构参考

《数据架构参考》由会员分享，可在线阅读，更多相关《数据架构参考（81页珍藏版）》请在装配图网上搜索。

1、 1 数据架构设计（数据架构组）1.1 概述1.1.1 总体描述相对于业务架构和应用架构，数据架构在总体架构中处于基础和核心地位。因为信息系统支撑下的海关业务运作状况，是通过信息系统中的数据反映出来的，数据信息系统管理的重要资源。因此构建海关的IT总体架构时，首先要考虑数据架构对当前业务的支持。理想的IT总体架构规划逻辑上是数据驱动的，即：首先根据业务架构分析定义数据架构；然后根据数据架构结合业务功能定义应用架构；最后根据应用架构与数据架构的定义，来设计技术架构。1.1.2 数据架构蓝图1.1.2.1 逻辑蓝图图：数据架构总体逻辑蓝图数据架构的六个统一，即统一数据规划、统一存储、统一计算、统一

2、服务、统一接入、统一数据治理。1.1.2.2 物理蓝图图4-1-1l 通过万兆连接核心交换区，实现网络高速交换，确保可靠性 l 各服务器均双线连接数据区核心交换机，消除单点故障 l 结构清晰，层次分明1.1.3 设计原则1、整体性原则共享服务平台必须根据统一的总体方案的统筹规划，按总署、直属海关、隶属海关的功能划分实行多级部署，同时按照职责分工进行建设和管理，保证三个层级的部署构成一个整体，各部分通信畅顺，信息共享，形成一个全国性的共享服务平台。2、标准化原则总署统一制定信息资源共享服务的技术标准、通信协议标准、数据交换报文标准，提供数据访问功能、基本业务逻辑处理功能的标准组件。系统的开发、集

3、成按照规定的标准进行，保证海关共享服务平台的结构一致性和技术规范性。3、安全与效率并重原则总结和汲取超大业务量海关的成功经验，采取充分足够的技术手段和管理制度，在保证共享服务平台与海关业务应用系统之间高速的数据交换，在保证共享服务平台良好运行效率的同时，保证海关业务运行网和业务管理网的信息安全和运行安全。系统设计方面要充分考虑共享服务平台数据量大、负荷高等因素，严格控制程序流程设计、严把程序编制质量、同步制定配套的系统运行管理办法，确保共享服务平台运行的高效性和稳定性。4、系统功能与职责分工相适应原则平台多方共建，发挥各方面的积极性，信息系统、业务系统与业务管理或操作运行的主体之间的关系和分工

4、必须明确。5、一致性原则共享服务平台在体系架构上必须与金关业务解决方案的框架保持一致，在系统开发建设的设备选型、开发技术、认证授权、门户框架、数据定义、参数管理、通信协议、网络结构、安全运维等方面必须与金关总体技术方案保持一致，保证共享服务平台成为现代海关综合管理系统的有机组成部分。注:整体统筹原则数据层和应用层解耦数据的高可靠服务的高可用1.1.4 设计目标“信息资源体系建设”是一项长期工程，是支撑海关各个业务条线之间实现充分协作信息共享基础架构。将确保金关工程二期在海关信息资源开发利用方面抓住数据一致性、规范性等数据质量源头建设,形成统一顶层设计，做到海关信息资源一盘棋，数据统一管控，统一

5、开发利用，促进海关信息共享、业务协作效率和科学决策水平的更高提升。总体目标主要包括以下五个方面内容：1、实现信息资源整合信息资源规划的一项很重要的目标就是要解决目前信息系统建设中的重复建设问题，达到信息系统的整合和集约，信息资源规划是信息系统顶层设计的一部分，能够从整体上对信息资源进行设计，并能够提供信息系统建设的标准和规范，这样信息系统就能够以此为标准，进行适时、适度、逐步整合，最终达到消除冗余，集约良性发展的效果。2、提高技术响应速度业务需求的变化和技术的响应速度之间一直是一对矛盾，信息资源规划通过对信息系统，尤其是信息资源架构进行科学设计，可以增强信息资源架构的稳定性，当业务需求变化时，

6、可以通过很少的数据结构和程序变动就能够满足业务需求，这样不但提高了技术响应速度，而且能够增强系统的稳定性，降低故障率。3、实现信息共享信息资源规划通过建设信息共享服务平台，实现了数据的集中存储和计算，并实现了对外统一的服务接口，不论是对于海关内部的信息共享需求，还是外部的数据共享需求；不论是直接面向用户的共享查询，还是面向应用系统的数据服务，都可以通过数据服务共享平台解决。4、实现大数据分析海关要实现智能海关，必须实现海关信息系统的物联化、互联化、智能化，而最重要的就是智能化，即通过大数据分析，为海关准确决策提供信息支持。信息资源规划通过设计和实现数据共享服务平台，引入并行数据库、分布式数据库

7、等大数据存储和计算技术，能够解决海关的大数据分析问题，达到数据用得好、决策准的业务目标。5、提升数据质量 信息资源规划通过设定标准规范、业务管理流程，能够规范数据的定义、存储、使用、传输、交换，使得数据采集更加规范、数据传输更加准确高效，数据使用更加安全方便，通过各种管理流程和规范，能够大幅提升数据质量。1.2 数据定义1.2.1 总体描述数据的基本结构分三个层次，反映了观察数据的三种不同角度。(1)概念数据层。它是数据的整体逻辑表示。指出了每个数据的逻辑定义及数据间的逻辑联系，是存贮记录的集合。它所涉及的是数据所有对象的逻辑关系，而不是它们的物理情况。(2)物理数据层。它是物理存贮设备上实际

8、存储的数据的集合。这些数据是原始数据，是用户加工的对象，由内部模式描述的指令操作处理的位串、字符和字组成。(3)逻辑数据层。它是用户所看到和使用的数据，表示了一个或一些特定用户使用的数据集合，即逻辑记录的集合。数据建模1.2.2 业务域根据目前海关不同的网络，运行网、管理网和接入网以及总署和直属的这种物理关系，梳理出每个域中业务情况和相互的关联关系划分出不同的业务域。海关目前的现状梳理出来的业务域有： 公共域、首长决策域、公共办公域、业务管理域、综合保障域和内部监控公共域：1) 公共时间域2) 公共金融域3) 公共位置域4) 公共人员域5) 公共机构域6) 公共参数域首长决策：1) 署长办公公

9、共办公：1) 办公2) 国际事务业务管理：1) 政法2) 关税3) 监管4) 物流5) 加贸6) 稽查7) 缉私8) 统计综合保障：1) 科技2) 财务3) 关务保障4) 人事内部监控1) 督查审计2) 监察根据业务 划分核心数据和非核心数据。1.2.3 概念模型设计概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。概念数据模型的内容包括重要的实体及实体之间的关系。在概念数据模型中不包括实体的属性，也不用定义实体的主键。这是概念数据模型和逻辑数据模型的主要区别。概念数据模型的目标是

10、统一业务概念，作为业务人员和技术人员之间沟通的桥梁，确定不同实体之间的最高层次的关系。根据业务域的划分，梳理跨业务域的端到端的业务流程，从而梳理出大的对象之间的关系和小的业务流程。例如，用户（user）ER图1.2.4 逻辑模型设计逻辑数据模型反映的是系统分析设计人员对数据存储的观点，是对概念数据模型进一步的分解和细化。逻辑数据模型是根据业务规则确定的，关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。 逻辑数据模型的内容包括所有的实体和关系，确定每个实体的属性，定义每个实体的主键，指定实体的外键，需要进行范式化处理。 逻辑数据模型的目标是尽可能详细的描述数据，但并不考虑数据在物理上

11、如何来实现。逻辑数据建模不仅会影响数据库设计的方向，还间接影响最终数据库的性能和管理。如果在实现逻辑数据模型时投入得足够多，那么在物理数据模型设计时就可以有许多可供选择的方法。解决端到端的业务流程梳理出大量的小流程和对象关系，进一步梳理出各个业务域的业务对象及其行为和属性。1.2.5 物理模型设计物理数据模型是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放。 物理数据模型的内容包括确定所有的表和列，定义外键用于确定表之间的关系，基于用户的需求可能进行发范式化等内容。在物理实现上的考虑，可能会导致物理数据模型和逻辑数据模型有较大的不同。物

12、理数据模型的目标是指定如何用数据库模式来实现逻辑数据模型，以及真正的保存数据。常用的设计范式，以及对于数据量大的业务，在数据模型层面不处理表之间的主外键之间的关系。主要将逻辑模型的各个业务对象及之间的关系，以表、主外键及关联表的方式表示。针对各个逻辑模型勾勒出各个域的ER模型。1.3 数据分布1.3.1 总体描述将数据物理分布式处理方式逐步转为集中式处理方式，本节主要描述数据在各个业务子系统之间的逻辑分布，以及数据物理分布。1.3.2 逻辑分布系统名称分系统名称子系统名称系统应用类型业务应用类数据业务分析类数据缉私监控指挥企业信息应用归类风险监控审单执法企业综合资信数据交换应急指挥情报预警监测

13、决策分析风险监测物流链监控分析专家会诊审单数据信息管理全国HG监控指挥系统风险管理分系统风险监控子系统实时性要求不高的OLTP风险处置子系统实时性要求不高的OLTP应急指挥分系统应急监控预警子系统实时性要求不高的OLTP应急指挥调度子系统实时性要求不高的OLTP决策分析分系统决策分析分系统OLAP值班管理分系统值班管理分系统实时性要求不高的OLTP预案管理分系统预案管理子系统实时性要求不高的OLTP演练管理子系统实时性要求不高的OLTP缉私作战指挥分系统实战管理子系统实时性要求不高的OLTP信息支持子系统实时性要求不高的OLTP地理信息子系统实时性要求不高的OLTP移动应用分系统移动客户端框架

14、子系统实时性要求不高的OLTP移动端统一入口子系统实时性要求不高的OLTP移动应用服务中间件子系统实时性要求不高的OLTP移动应用管理子系统实时性要求不高的OLTP移动设备管理子系统实时性要求不高的OLTP业务应用插件子系统 实时性要求不高的OLTP地理信息系统应用分系统地理信息系统应用分系统实时性要求不高的OLTP进出口企业诚信管理系统企业诚信守法申报子系统实时性要求不高的OLTP企业资格管理子系统实时性要求不高的OLTP报关员管理子系统实时性要求不高的OLTP企业稽（核）查子系统实时性要求不高的OLTP企业诚信守法信息采集子系统实时性要求不高的OLTP企业诚信守法规则管理子系统实时性要求不

15、高的OLTP企业诚信守法差别化应用子系统实时性要求高的OLTP企业诚信守法信息指标统计子系统OLAP企业诚信守法评估子系统OLAP企业诚信守法绩效评估子系统OLAP加工和保税货物管理系统加工贸易手册管理分系统加工贸易手册申报子系统实时性要求高的OLTP加工贸易手册审批管理子系统实时性要求高的OLTP加工贸易账册管理分系统加工贸易账册申报子系统实时性要求高的OLTP加工贸易账册审批管理子系统实时性要求高的OLTPHG特殊监管区域管理分系统HG特殊监管区域管理申报子系统实时性要求高的OLTPHG特殊监管区域审批管理子系统实时性要求高的OLTP保税监管场所管理分系统保税监管场所申报子系统实时性要求高

16、的OLTP保税监管场所审批管理子系统实时性要求高的OLTP保税综合管理分系统保税业务监控分析子系统OLAP单耗管理子系统实时性要求不高的OLTPHG物流监控系统HG物流链可视化管理分系统物流链数据收集子系统实时性要求高的OLTP物流链信息展示子系统实时性要求高的OLTP物流链分析预警作业子系统实时性要求高的OLTP物流连信息预警处置子系统实时性要求高的OLTP物流可视化预警参数管理子系统实时性要求高的OLTP智能卡口分系统前端集成子系统实时性要求高的OLTP现场服务子系统实时性要求高的OLTP后台核放子系统实时性要求高的OLTP查验业务管理分系统机检查验管理子系统实时性要求高的OLTP人工查验

17、管理子系统实时性要求高的OLTP知识产权自动识别子系统实时性要求高的OLTP辅助管理子系统实时性要求高的OLTP统计查询子系统实时性要求高的OLTP机动巡查管理分系统机动巡查作业管理子系统实时性要求高的OLTP机动巡查查询统计子系统实时性要求高的OLTP通关管理系统报关单通关无纸化分系统通关电子数据申报子系统实时性要求高的OLTP通关事务/行政许可审批子系统实时性要求高的OLTP报关单无纸化审单子系统实时性要求高的OLTP报关单无纸化放行子系统实时性要求高的OLTP非报关单管理分系统快件管理子系统实时性要求高的OLTP旅客行李物品监管子系统实时性要求高的OLTP邮政总包监管子系统实时性要求高的

18、OLTP邮件通关监管子系统实时性要求高的OLTP特殊人员及机构进出境公自用物品通关子系统实时性要求高的OLTP免税店及商品监管子系统实时性要求高的OLTP电子随附单据管理分系统通关电子随附单据管理子系统实时性要求高的OLTP执法电子随附单据管理子系统实时性要求高的OLTP通关电子随附单据归档管理子系统实时性要求高的OLTP执法电子随附单据归档管理子系统实时性要求高的OLTP接单环节派单叫号分系统公共服务子系统实时性要求高的OLTP现场作业子系统实时性要求高的OLTP挂号管理子系统实时性要求高的OLTP查询统计子系统实时性要求高的OLTP关税管理系统关税电子数据申报子系统实时性要求高的OLTP减

19、免税管理子系统实时性要求高的OLTP原产地管理子系统实时性要求高的OLTP归类风险监控子系统OLAP价格管理子系统实时性要求不高的OLTP报关单批量复审子系统实时性要求不高的OLTP审单辅助支持子系统实时性要求不高的OLTP远程专家在线会诊/审单子系统实时性要求高的OLTP商品条码信息管理子系统实时性要求不高的OLTP征税管理子系统OLAP征税分析子系统实时性要求高的OLTPHG基础数据管理系统数据分析管理分系统数据抽取分发子系统实时性要求不高的OLTP动态数据仓库子系统OLAPHG业务数据管理分系统数据质量监控子系统实时性要求不高的OLTP业务数据管理子系统实时性要求不高的OLTP数据信息管

20、理子系统OLAP统一数据加工子系统OLAP缉私管理系统执法规范分系统刑事执法子系统实时性要求不高的OLTP行政执法子系统实时性要求不高的OLTP辅助办案子系统实时性要求不高的OLTP证据管理子系统实时性要求不高的OLTP协查管理子系统实时性要求不高的OLTP职能管理分系统督察管理子系统实时性要求不高的OLTP绩效管理子系统实时性要求不高的OLTP要案管理子系统实时性要求不高的OLTP综合应用子系统OLAP情报作业分系统情报信息采集子系统实时性要求高的OLTP情报线索办理子系统实时性要求不高的OLTP境外执法合作子系统实时性要求不高的OLTP情报产品生产子系统实时性要求不高的OLTP情报预警监测

21、子系统实时性要求高的OLTP情报研判分系统情报信息智能检索子系统OLAP情报专题研判子系统OLAP常用研判工具集子系统OLAP图形视频研判子系统OLAP情报研判模型管理子系统OLAP情报管理分系统情报监督子系统实时性要求不高的OLTP绩效评估子系统实时性要求不高的OLTP情报培训子系统实时性要求不高的OLTP情报应用积分子系统实时性要求不高的OLTP业务数据监测与处理子系统OLAP情报服务分系统缉私办案离线支持子系统实时性要求不高的OLTP缉私信息决策支持子系统实时性要求不高的OLTP情报布控及协查子系统实时性要求高的OLTPHG监管支持子系统实时性要求高的OLTP情报共享交换子系统实时性要求

22、高的OLTP对外联网应用系统联网数据采集分系统企业综合资信库数据采集子系统实时性要求不高的OLTP联网核查证件数据采集子系统实时性要求不高的OLTP情报公安数据采集子系统实时性要求不高的OLTP外单位数据采集子系统实时性要求不高的OLTP互联网公开数据采集子系统实时性要求不高的OLTP数据转换处理分系统企业综合资信数据处理子系统OLAP联网核查证件数据处理子系统实时性要求不高的OLTP联网核查通关处理分系统自动进口许可证联网核查子系统实时性要求高的OLTP密码产品和含有密码技术设备进出口许可证联网核查子系统实时性要求高的OLTP濒危物种允许进出口证明书联网核销子系统实时性要求高的OLTP进口药

23、品通关单联网核销子系统实时性要求高的OLTP进口兽药通关单联网核查子系统实时性要求高的OLTP原产地证书联网共享子系统实时性要求高的OLTP关库联网核销子系统实时性要求高的OLTP加工贸易多方联网管理子系统实时性要求高的OLTP数据对外服务分系统联网数据企业服务子系统实时性要求不高的OLTP联网核查国家（地区）、部委数据服务子系统实时性要求不高的OLTP企业综合资信数据政务服务子系统实时性要求不高的OLTP缉私案件数据服务子系统实时性要求不高的OLTP1.3.3 物理分布数据存放：集中存放+灾备？分布式主从模式？分布式无中心化？数据：核心交易：商用关系DB+小机集群？分析：newSQL+小机集

24、群？低价值密度的大规模数据：No SQL+大规模普通机器集群据地理分布：交易数据集中存放+灾备；其他管理支持类应用数据可三中心分别存放？1.4 数据分类1.4.1 总体描述数据分类是企业数据的组成部分，其目的是为了满足各种数据需求对数据组织的要求，根据数据内容的属性或特征，将信息按一定的原则和方法进行区分和归类，并建立起一定的分类体系，为数据的合理分布提供决策依据，以便管理和使用数据信息。1.4.2 分类原则在数据分类时遵循以下原则： 数据分类需要满足各种数据需求对数据组织的要求，即数据分类应该独立于具体的数据模型； 数据分类应有利于数据的维护和扩充。1.4.3 分类内容金关工程二期综合考虑海

25、关应用系统所产生的数据属性、应用性质、处理方式、使用范围等因素对数据进行分类，同时考虑对数据进行生命周期管理和数据质量管理；海关数据可以从业务、生命周期及数据特点进行分类。1、按照业务，海关的数据分为数据管理类（N）、业务基础类（Y）、业务处理类（Y）、业务管理类（N）、业务应用类（N）、业务分析类（N）六类数据。业务数据分类核心和非核心数据与上面业务域数据之间的对应关系 数据管理类数据，此类数据包含动态数据仓库、数据抽取分发、数据质量监控、统一数据加工、数据生命周期管理中的数据。 业务基础类数据，此类数据包含商品条码、企业信息基础、多维、公安信息资源、案件信息服务资源、自动许可证联网核查、联

26、网核销、原产地证书联网共享、加工贸易多方联网、GIS应用、核心系统参数、海关情报信息采集、海关情报移动支持的数据。 业务处理类数据，此类数据包含报关单、免税品、行邮、关税电子、外单位信息资源、加贸手册、加贸账册、互联网信息资源、智能卡口、核心系统基本通关、核心系统辅助通关、核心系统备案的数据。 业务管理类数据，此类数据包含减免税管理、原产地管理、价格管理、业务数据管理、机动巡查、值班、预案、移动应用、海关特殊监控区域、保税监管场所、保税综合管理、批量复审、海关情报业务管理、海关情报境外执法合作、执法规范化业务执法、执法规范化辅助办案、执法规范化职能管理的数据。 业务应用类数据，此类数据包括缉私

27、监控指挥、企业信息应用、归类风险监控、审单执法、企业综合资信、数据交换、应急指挥、海关情报预警监测的数据。 业务分析类数据，此类数据包含决策分析、风险数据、物流链监控分析、专家会诊审单、数据信息管理的数据。2、按照数据来源以及服务对象，海关数据可分为对外交换数据、生产数据、共享数据、决策支持数据、元数据五类。 对外交换数据，此类数据包括物流舱单、国外海关、电商订单、互联网舆情、政务公开等数据。 生产数据，此类数据包括报关单、证件核销、税收、减免税、证件监管、加贸手册、加贸合同、加贸单耗、风险布控、风险查验、行政办公等数据。 共享数据，此类数据包括企业主数据、商品主数据、公共业务通关、公共业务企

28、管数据。 决策支持数据，此类数据包括数据仓库、数据集市、业务报表、分析报告等数据。 元数据，此类数据包括技术元数据、数据模型、指标体系、标准化等数据。3、按照生命周期，海关数据可以分为“生产数据（核心，非核心）”、“分析数据”、“归档数据”三类。4、按照数据本身的特点，海关数据可以分为结构化数据和非结构化数据，结构化数据主要是应用系统生成的存储在关系数据库中的数据，数据具有明显的共性结构特点。非结构化数据主要指一些文本、图片、图像、视频、音频等数据。对于某一种数据（维度中的1个格子）对应一种存储技术。1.5 数据接入1.5.1 总体描述数据统一接入层主要目的是解耦应用系统和数据存储之间的关系，

29、本部分主要描述应用系统和关系型数据库之间的解耦，应用与其他类型的存储之间的关系在本章的其他小节来描述。其整体架构如下图所示：应用系统数据存储MySqlOracleSQLServer。统一接入管理平台应用系统管理逻辑节点管理配置数据管理物理节点管理路由规则管理扩容迁移管理代理访问统一访问服务数据驱动故障切换Mysql协议适配Oracle协议适配SQL Server协议适配数据节点池故障备份处理引擎数据扩容Sql的解析数据路由数据分片备份管理结果集处理备份管理上层为应用系统；下层为关系数据存储。中间层为统一接入平台。一般的应用开发，应用层直接通过数据的驱动直接访问关系数据库进行数据的存取。在我们的

30、数据架构中增加了一层统一接入层，其目的主要解决：1、 提供统一的访问服务。2、 对应用来说，屏蔽了数据库本身的差异，数据库对应用来说只是服务。3、 提供了服务的高可用，上层应用无需关心下层存储的可用性问题，JDS层会做自动的主备切换，防止单点故障。4、 提供了数据的高可靠，上层应用无需关心下层存储数据的可靠性问题，存储层会自动做好数据的自动全量及增量备份工作。并在需要的时候可以快速从备份恢复数据。5、 支持数据的自动拆分，可应对海量数据的存储及高性能访问场景，对上层应用拆分逻辑完全透明，应用使用标准客户端即可使用。6、 数据存储自动扩容，应用无需关心底层存储的容量问题，一键进行数据的迁移及扩容

31、工作。7、 整体系统运维的自动化智能化管理，运维成本低。1.5.2 统一访问服务统一访问服务主要是为上层应用提供一个透明访问代理层，应用无需关心底层存储细节及产品类型，统一访问服务层帮助应用抽象出了一个统一入口，屏蔽掉了底层的不同存储产品带来的复杂性。并同时实现了高性能具备过载保护及容灾功能的接入服务，应用通过软负载均衡设备来接入服务，软负载均衡设备会实现多个接入节点的状态监测，故障剔除等工作。同时接入服务层提供了过载熔断等保护功能，保护后端代理的存储节点的稳定和安全。1.5.3 处理引擎1.5.3.1 SQL解析模块处理引擎会进行SQL请求的拦截和处理，并根据路由信息对SQL语句进行修改或拆

32、分，如果涉及多个节点，则会将拆分后的SQL请求并行发送到不同的物理实例上，并等待结果返回，在查询结果返回后，接入层会进行结果集的合并和计算，最终返回给客户端，整个过程对客户端完全透明。1.5.3.2 数据分片数据分片模块可以将数据按照应用指定的规则进行水平切分，解决容量和访问量的问题，即可以不使用任何高端存储设备，只用普通x86机器完成很多高端存储才能达到的存储能力和访问能力。降低海关业务整体的硬件成本。数据可以根据海关各子业务的访问规则进行灵活配置，灵活扩展。1.5.3.3 数据路由海关各业务针对各自访问规则进行了数据水平切分和分片后，引擎层逻辑会通过具体的访问规则将实际的访问请求路由到指定

33、分片。路由规则的存储是在元数据管理模块中，并推送给逻辑处理引擎。逻辑处理引擎会本地存储路由规则，正常的访问流程在逻辑引擎本地查询相关规则即可，无需访问远端的元数据管理模块。1.5.3.4 结果集处理数据进行了分片并路由到指定后端存储节点后，会在远端的存储节点执行，并将数据返回给逻辑引擎，由于数据可能已经被水平拆分过，所以有可能会涉及到多个远端的存储节点，即多个远端节点的数据需要进行结果集的汇总和再计算工作，比如order by或者group by等语句的执行，需要在逻辑引擎中进行结果的缓存和计算工作，这部分逻辑集成在了逻辑引擎内部，对业务端是完全无感知的。1.5.3.5 数据扩容虽然我们可以按

34、照业务类型预先对数据的容量和访问量做好规划并进行数据的水平切分和路由，但是通常我们预先规划的容量是未必完全合适的，这个时候我们可能需要对数据进行再次水平切分进行扩容迁移等操作，这个过程需要统一接入管理平台与逻辑引擎共同完成，逻辑引擎负责线上路由切换的一部分，并通过一些手段完成多个逻辑处理引擎节点之间的同步问题，保障数据的可靠性和一致性。1.5.3.6 备份管理备份管理主要保障数据的高可靠。数据的高可靠是通过系统后台自动定时全量及增量备份数据到云存储端来完成的。全量备份及增量备份的间隔时间通过管理系统可以灵活配置，全量备份采用快照机制不会对线上访问造成任何影响，增量备份通过数据库binlog完成

35、。1.5.4 数据驱动层数据驱动层会对涉及的所有物理节点进行管理，能够方便灵活的配置物理节点信息，动态增减机器规模。并对节点进行实时监控和检测，剔除故障节点，保障业务使用的稳定性.1.5.4.1 故障切换故障切换模块保障服务的高可用性，这是通过底层存储数据库的主备切换来完成，系统会监控所有管理的数据库实例，发现某个实例异常或故障后，会自动将访问切换到从库上，并通过数据库的半同步机制来保障数据在切换过程中是完全没有任何数据丢失的。1.5.4.2 协议适配由于海关业务可能会涉及不同种类的数据库存储节点，针对这种情况可以通过单独的协议适配模块进行协议的转换。对上层业务使用标准SQL语句或者其它具体某

36、种数据库方言均可正常访问。1.5.5 统一接入管理平台统一接入管理平台主要进行整体接入系统的一些管理工作，比如元数据的存储，监控检测机制，自动化运维模块等。1.5.5.1 配置数据管理配置数据管理主要存储整体接入系统的一些配置信息，比如集群数据库的一些参数组配置，安全组配置等信息，可以方便的完成集群中部分机器的一些特殊定制配置等需求，给整体系统带来比较大的灵活型。1.5.5.2 应用系统管理应用系统管理模块对接入的应用和业务进行统一管理。主要包括应用具体的一些接入信息配置，包括应用独立的一些配置数据，注册信息，访问用户权限和角色等。1.5.5.3 逻辑与物理节点管理统一管理模块会对整个集群的所

37、有物理节点和逻辑节点进行管理，物理节点涉及所有机器的配置信息，运行中的动态负载信息，状态信息等。逻辑节点是暴露给业务使用的一些抽象的逻辑库和逻辑表，并对此进行具体的逻辑到物理节点的映射工作。该模块也是配合路由规则管理模块协同工作的。1.5.5.4 路由规则管理路由规则即具体分片规则信息，该信息通过统一接入管理平台来进行存储和管理，并通过统一管理平台与逻辑引擎进行交互。业务的路由规则录入与变更首先会通过统一管理平台的管理端界面进行录入和修改，统一管理平台会将变更信息推送给所有的逻辑引擎。并通过内部加锁等机制完成各逻辑节点更新的一致性问题。1.5.5.5 扩容迁移管理扩容迁移功能是通过统一接入平台

38、来完成的和发起的，监控系统会检测所有物理节点的使用情况，包含数据量和访问量的信息，根据系统当前负载情况判断是否需要进行迁移和扩容工作。当需要进行此项工作时，统一平台会发起迁移任务，迁移任务交由一个工作节点进行线下的物理数据迁移，待到达指定阈值时会通知逻辑引擎进行相关路由的锁定与切换工作，完成迁移和扩容的过程。1.5.5.6 备份管理备份管理模块会统一调度和进行所管理物理节点的数据全量备份与增量备份工作，具体备份的时间与间隔通过统一平台的管理界面进行配置。全量备份通过操作系统的块设备的快照机制完成，对业务访问无任何感知和影响。增量备份通过数据库的binlog来完成。所有备份文件统一上传至统一存储

39、模块。需要时可以完成快速恢复和容灾。1.5.5.7 接入层节点的水平扩展与容灾接入层本身单个节点可以提供每秒10W级的高性能访问，可以根据业务访问量的需求或者容灾的考虑来动态增减节点，由于接入层节点是完全无状态的所以动态增减并不会影响上面的应用，上面的应用可以通过类似LVS或者HA的方式来统一访问接入层节点，HA软件会自动对接入层节点进行状态检测，并剔除故障的接入层节点对上层应用无感知。加入新的接入节点对上层应用同样是无感知的。1.5.5.8 存储层存储层主要解决下列问题：1. 服务的高可用2. 数据的高可靠3. 自动化运维管理自动化运维平台提供灵活方便的用户管理操作入口，系统基本无需专人运维

40、，大部分的工作是自动化的，一小部分工作通过人员确认一键完成。1.5.5.9 配置数据管理集群路由和分配以及扩容迁移等信息全部存储在中心节点Manager中，所有路由变更等配置信息统一通过Manager来完成，Manager节点会自动同步路由变更信息给所有的接入节点，并保障接入节点对变更信息的一致性问题，即所有接入节点在任意时刻看到的路由信息都是完全一致的，Manager与接入节点之间通过路由版本号信息来保障这一点。元数据管理通过主备方式来进行容灾，主节点故障，从节点自动接管工作，对应用完全无影响。1.5.5.10 数据无缝迁移扩容数据达到一定容量后，通过Transfer模块可以进行自动无缝扩容

41、和迁移工作，迁移模块会分成线上和线下两部分完成，首先进行线下的全量数据及部分增量数据的迁移，待线下数据迁移达到指定阈值后，会进行线上的最后一部分数据追赶及路由切换等工作，应用的访问最终会自动被切换到新的实例上。迁移过程中会多次对数据进行校验，保障数据迁移的准确性。1.5.6 分布式缓存分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大并发下的本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管理和回收机制。其次是分布式管理和分布式算法，其次是缓存键值管理和路由。1.5.6.1 技术架构1.5

42、.6.2 支持数据类型提供如下形式的数据：Key/Value、Set、List、Map、Object数据之间支持排序和集合运算1.5.6.3 缓存服务主要包括可分为以下几类:1) 页面缓存2) 应用对象缓存3) 状态缓存4) 分析计算缓存5)事务处理1.6 数据存储1.6.1 总体描述本章描述对核心数据，非核心数据等各类不同种类数据的数据处理系统，以及数据存储系统的架构实现。根据下列数据分类以及各类数据特点制定数据存储的架构方式。图4-6-1：各种分类维度下的数据分类1.6.2 技术实现按照不同数据分类下的数据特征(包括数据量，数据价值，以及结构化特征)，使用不同的数据存储架构实现数据这些数据

43、的存储和管理。图4-6-2：各种数据存储架构总览1.6.2.1 核心数据存储架构 1）数据库管理系统在采用Oracle11g RAC的基础上，对需要加速的数据处理，通过内存数据库技术融合，以提高系统对核心数据的处理性能。2）数据存储系统 磁盘阵列：采用SAS盘，支持RAID0.1.5. SAN交换机：采用FC协议，SAN采用8Gbps/4Gbps 的带宽。图4-6-3：核心数据存储架构表4-6-1 SAN与NAS存储服务的比较存储层在修改一下，再细分层，各种技术之间的优势（比如SAN，NAS的选择的分析比较）。1.6.2.2 非核心数据存储架构 1）数据库管理系统 采用MySql Cluste

44、r的开源集群数据库处理技术。 2）数据存储系统 磁盘阵列：采用SAS盘，支持RAID0.1.5. SAN交换机：采用FC协议，SAN采用8Gbps/4Gbps 的带宽。 存储技术：通过分层关系描述图4-6-4：非核心数据存储架构1.6.2.3 分析型数据存储架构 1）数据库管理系统 采用商用的MPP分布数据库(如Gbase)，和Hadoop开源并行数据处理平台的混搭技术。 2）数据存储系统 x86 PC服务器上本地磁盘：采用SAS盘，支持24个磁盘（600G），RAID0.1.5. MPP网络：采用基于万兆以太网或Infiniband的高速网络。图4-6-5：分析数据存储架构1.6.2.4 非结构化数据存储架构 1）数据库管理系统 采用基于Hadoop的开源并行数据处理平台的非结构化数据存储技术。 2）数据存储系统 x86 PC服务器上本地磁盘：采用SAS盘，支持24个磁盘（600G），RAID0.1.5. Hadoop网络：采用基于万兆以太网或Infiniband的高速网络。图4-6-6：非结构化数据存