海量试验数据存储技术白皮书

《海量试验数据存储技术白皮书》由会员分享，可在线阅读，更多相关《海量试验数据存储技术白皮书（7页珍藏版）》请在装配图网上搜索。

1、技术白皮书海量试验数据存储模型(Mass Test Data Storage-MTDS) 友信软件研发中心 2006 年 5 月 1.海量试验数据存储(MTDS)简介(Breif Introduction) 错误！未定义书签。关于本章 本章综述 XXXX 的概况。主要介绍 XXXX 是什么，它实现的目标、它能解决的问题、和它的技术特点， 同时还 概要介绍了相似 软件系统 的发展历史目标(Mission) 错误！未定义书签。MTDS 可以被应用于实现如下目标：解决问题(Requirement Analysis) 错误！未定义书签。 XXXX 的推出，主要针对如下现状和问题。具体问题的分析 特点(

2、Distinguishing features) 错误！未定义书签。 技术方面的、应用方面的、成本方面的。等各个方面的显著特点。 历史(History) 错误！未定义书签。 业界相关技术 及 应用 历史。2. XXXX总体结构及组成(XXXX Architecture) 错误！未定义书签。关于本章 本章着重介绍 XXXX 的体系结构，和主要的组成部分。同时可以简述基于XXXX的应用系统的部署方法。2.1 XXXX体系架构说明 错误！未定义书签。 简述 围绕技术架构图，简单说明 2.2基于XXXX的应用系统组成 错误！未定义书签。应用系统的逻辑组成图，其中的XXXX的作用，及其与周边关系的说明0

3、 0 0 0 2.3基于XXXX的系统的布署环境 错误！未定义书签。 如果有必要的话， 部署方面的说明。3. XXXX 技术策略(XXXX Strategy) 错误！未定义书签。关于本章 本章着重介绍 XXXX 平台采用的几个重要的技术策略(技术途径)，以及相应的 依据和分析，包括从理论方面的、技术方面的、应用需求方面的考虑。本章介绍的技术策略，如果内容较多或者非常重要，可以分段单独说明。注意：本章主要说明在 XXXX 中采用什么途径，以及解决什么问题。 对于途径的描述主要 侧重于技术思路和方向，不涉及到到具体实现中的技术细节。 具体实现中的技术细节(例 如开发工具、系统结构、数据模型等)，将

4、在后面的“4XXXX组成部分技术祥解”中逐一 介绍。3.1 错误！未定义书签。3.2 错误！未定义书签。3.3 错误！未定义书签。4. XXXX 的技术实现(XXXX Implementation)错误！未定义书签。关于本章 本章着重介绍 XXXX 平台中各个层次的主要的模块/构件的具体实现方法，是对 于第3 章中的技术途径的 在软件实现层面上的说明，包括了主要的数据模型、处理步骤、 接口设计细节等等.本章可以分层次介绍，如果内容较多或者非常重要，可以分段单独说明 本章的组织，也可以按照前面第 3 章中的各个关键技术，分别从实现的层面上介绍。 注意： 本章的细节程度要把握得当， 对于程序/算法

5、，最多细化到接口， 对于流 程可以给出粗粒度的流程图， 对于数据，细化到数据模型示意图即可。注意：本章仅仅供那些 需要在XXXX上进行开发工作、或者需要深入研究判断技术细节的 人员提供， 对于处于 XXXX 的应用层面上的人员 是不需要的。4.1 XXXX总体设计 错误！未定义书签。系统层次架构 错误！未定义书签构件化的组成 错误！未定义书签4.2 层次 1， 或者专题1 错误！未定义书签4.3 层次2， 或者专题 2 错误！未定义书签4.4 XXXX系统接口层(API) 错误！未定义书签。5XXXX 应用案例说明( XXXX Application)关于本章利用XXXX的实际案例的说明，包括

6、 应用单位的基本情况、需求、面临的问 题、单位环境条件说明，然后是基于XXXX实现的系统的规模、范围、功能，包括实施 的逻辑结构图和部署示意图，最后是应用效果说明，以及对于XXXX的功效的一个评价。注意：如果是局部性的技术，则不必要说明整个案例环境，而是说与XXXX相关的部分即 可， 并说明在哪里介绍了 整个案例环境。6. XXXX 开发接口( XXXX Interface )关于本章 本章针对开发人员的需求， 分别从 数据模型、系统组成、系统功能几方面， 说明提供的开发接口的应用步骤和方法， 最后给出开发接口的列表。1.海量试验数据存储（MTDS）简介（Breif Introduction）

7、1.1 目标MTDS 主要致力于解决企业的海量试验数据存储的难题。在现代企业中，随着产品的愈 加复杂、愈加庞大，产品试验的数据量也在急剧增长，在特定复杂的试验任务中（比如：） 一次试验产生的试验数据就可能超过1GB,而企业的总在线试验数据也有可能达到10TB级。 在这种量级的情况下，采用传统模式（直接存储在硬盘上）已经远远不能达到企业的需求。 另外，由于试验数据的特殊性（比如：不连续等等）和需求多样性（数据分析、数据处理等 等），直接采用基于文件的存储系统也不能满足用户的需求。为此，需要系统采用针对海量试验数据的存储模型，并在数据的维护上提供更为有效的 管理工具，达到数据存储的安全、高效，满足

8、用户的不同需求。1.2 解决问题MTDS 的推出，将主要致力于解决以下问题： 海量级（上10TB ）在线试验数据存储能力（支持不连续试验数据）; 试验数据生命周期管理能力； 试验数据处理扩展能力；1.3 特点MTDS 系统，主要具备如下一些特点： 采用优质的海量存储系统 由于企业试验数据量可能非常庞大，所以，需要采用海量数据存储系统。 MTDS 将根据客户的不同需求，为客户提供专业的系统咨询，并选择市场上性能稳定、性价比很好的海量 存储系统。 为企业量身定制 传统的海量存储系统，只能提供物理级的海量存储能力（一般是文件），而在试验行业中，试验数据具备许多不同的特点，比如：试验数据不连续、需要快

9、速定位等等。这些特点 决定了直接使用海量存储系统，无法满足企业的要求。 友好的管理界面MTDS将无缝的与MapleTree结合，提供基于WEB的友好的用户界面，简单、易学、 易用。另外，系统还会提供更为专业的用户操作界面，实现系统更多的高级应用。 数据生命周期管理MTDS 提出了试验数据生命周期管理概念，用户处了可以对数据的产生、归档、备份、 删除直接管理，还可以在预先定义好的数据生命周期模型下，让系统自动完成对数据的生命 周期管理。 专业的数据处理能力MTDS 将对试验数据，提供专业的试验数据处理能力，比如：数据滤波处理、数据匹配 搜索等等，为用户提供数据处理模块。 开放数据处理模型MTDS

10、 还提供可对外的开发接口，用户可以在这个接口上自由的开发不同的数据处理模 块，并直接挂接在 MTDS 系统中。1.4 历史(存储系统)目前技术市场上有四大数据存储的选择：直连式存储(DAS)、存储区域网(SAN)、网络 附加存储(NAS)、SAN和NAS混合网络存储。 直连式存储(DAS)：简单地说，直连式存储(DAS)即磁盘驱动器和服务器直接相连， 数据的传递是利用SCSI (小型计算机系统接口)命令传输。这种传统的存储结构，优 点是结构简单、成本低廉；局限在与，容量有限(一般难于达到10TB级)、升级困难; 存储区域网(SAN):在SAN中，服务器通过光纤交换机连接到存储系统，服务器和存

11、储通过光纤通道协议组互相联，形成于局域网独立的存储网络。这种存储结构优点是： 存储效率高(光纤传输)，容量可扩展；缺点是：成本高、维护复杂； 网络附加存储(NAS):在NAS中，存储系统直接通过以太网标准连接到服务器上。这 种结构的优点是：扩展性强、维护简单、成本低；缺点是：占用以太网带宽、速度比 SAN慢(但随着千兆、万兆以太网的出现，速度缺陷已经不再具有)。 混合网络存储：在混合网络存储中，存储系统可以直接通过以太网协议连接到服务器上， 也可以通过建立存储局域网，用光纤连接到服务器上。这种系统的优点是：选择非常灵 活；缺点是，系统相对复杂。综上所述，混合网络存储将是今后发展的趋势，它既可以

12、兼容企业原有对SAN投资的 资源，也可以满足企业动态扩展的需求，具有很高的灵活性。2总体结构和组成(MTDS Architecture)2.1 体系架构说明MTDS 运行框架主要有三部分组成： 海量试验数据存储模型：实现对试验数据存储表述的统一存储模型； 扩展引擎接口：提供对运行框架的功能模块的扩展能力； 核心试验数据存储服务：对其他功能模块提供核心存储服务；MTDS 采用了业界最先进的全开放式架构理念，让海量数据存储的各个功能都可以根据 用户需求重新定制开发（甚至用户自身开发）。在运行框架中提供了海量试验数据存储的核 心模型结构，同时还提供了三个扩展功能开发的重要结构和数据存储服务。MTDS

13、 运行框架主要提供三种重要的功能扩展开发能力1，存储引擎接口：用户可以针对具体情况开发出不同的存储引擎，连接到系统中。比 如可以开发DAS存储引擎，也可以开发NAS存储引擎。2，搜索引擎接口：针对各种不同的试验数据，企业往往已经有很多成熟的搜索算法。 通过搜索引擎接口，用户可以将自己的搜索算法连接到系统中，自由的扩充系统的功能。3，处理引擎接口：由于试验数据往往会需要做各种各样的分析处理，这些处理算法个 相同。为此，系统提供这个接口，可以让用户自由的开发出自己的数据处理算法，无缝的连 接到系统中。22基于MTDS应用系统组成其它各种应用运行框架处理引擎接口搜索引擎接口存储引擎接口核心试验数据存

14、储服务海量试验数据存储模型 MTDS功能扩展对运行框架的重要功能扩展。主要是针对运行框架提供的各种扩展接口，定制开发出具 体的实现，其中包括：试验数据处理引擎、海量数据存储引擎、试验数据搜索引擎； MTDS 功能实现提供给用户的各种功能模块，主要包括：1， 存储配置管理：主要负责配置不同的海量存储引擎；2，生命周期管理：主要提供对数据生命周期模型和策略的定义、配置能力。3，数据安全管理：主要提供对数据安全策略的配置能力，以及手工对数据的备份、恢 复管理。4，其他各种应用。23基于MTDS的应用系统部署环境略）3MTDS 技术策略(MTDS Strategy)3.1开放组件编程技术规范( Ope

15、n-COM)为了实现让系统自有扩充的能力，MTDS不可避免的会存在用户开发的功能扩展模块。 为了让系统和扩展功能模块无缝的衔接,MTDS提出了一个统一的全开放的组件编成技术规 范。通过这个技术规范，用户可以在不依赖任何商业运行模块的情况下，根据功能扩展接口， 开发出自己不同的扩展功能模块。这个开发规范，主要具备以下特点：1，采用业界成熟的COM组件编程思想；2， 纯粹的虚开发规范，没有任何实现策略要求、不依赖任何商业模块；3， 具备完全的平台移植能力；3.2 开放式体系架构MTDS 采用几乎全开放式的体系结构，并且采用业界最佳编程模式 Provider 模式。在 Provider模式中，用户可

16、以开发出各种不同的Provider，然后通过简单的配置，就可以直接 连接到系统中。采用这种编程模式，用户可以针对不同的需求，开发出各种不同的功能扩展 模块，其中包括：1， 数据存储引擎扩展 根据自身项目的特点，更换不同的存储系统，并选择相应的存储引擎；2， 数据处理引擎扩展 数据处理引擎扩展可以实现用户自定义的数据处理策略。比如，添加加密处理引擎， 可以实现对存储数据的加密/解密；添加压缩处理引擎，可以实现江大量试验数据压缩、 过滤后存储；3， 数据搜索引擎扩展数据搜索引擎扩展可以实现用户不同的数据搜索算法；采用开放式体系架构，将会为系统带来如下好处：1， 可以有效的利用企业原有的开发成果。通过扩展开发，用户可以直接将原有算法连 接到系统中，节约企业大量重新开发的成本。2， 可以很好的满足用户发展的需求。用户可以根据企业业务不断的变化，开发出新的 功能模块，满足新的需求；