绕月探测工程卫星数据的存储与管理

《绕月探测工程卫星数据的存储与管理》由会员分享，可在线阅读，更多相关《绕月探测工程卫星数据的存储与管理（10页珍藏版）》请在装配图网上搜索。

1、绕月探测工程卫星数据的存储与管理朱兰;左维;李春来 【摘要】从数据的类型和产品格式说明开始，对绕月探测工程中的科学探测数据的 管理方法进行了研究.通过数据存储架构和软件结构的分析，指出数据存储的软硬件 环境;通过数据存储和备份策略的分析，指出数据存储的可靠性.这些存储与管理方法 将为更好地管理数据并向外界提供检索和获取服务提供保障.【期刊名称】天文研究与技术-国家天文台台刊 【年(卷)，期】2008(005)004 【总页数】8页(P365-372) 【关键词】绕月探测;存储架构;存储策略;备份策略 【作者】朱兰;左维;李春来【作者单位】中国科学院国家天文台，北京,100012;中国科学院研究

2、生院，北 京,100049;中国科学院国家天文台，北京,100012;中国科学院国家天文台，北 京100012【正文语种】中文【中图分类】TP311.132007年10月24日，嫦娥一号探测卫星的发射圆了中国人几千年的奔月梦；2007年11月26日，第一幅图的公布，标志着绕月探测工程取得了圆满成功。这一成功的开始，为大量接收来自月球和地月空间环境的数据打下了坚实的基础， 同时也创造了良好的条件。在未来的一年里，将有大量的数据从嫦娥一号卫星上源 源不断地传到地球。作为嫦娥工程五大系统之一的地面应用系统(GSDSA)将把这 些宝贵的第一手资料妥善存储、管理，并且经过深加工后，向全世界的科学家和天

3、文爱好者公布。加拿大档案管理员Arthur George Doherty指出：档案是一个国家所有财产中 最为珍贵的财产，是传给下一代的礼物。档案保管的好坏真实地反映出我们的文明 程度”。嫦娥一号卫星传回的科学数据便是一种不可或缺的、重要的国家科研档案， 相对其它科学数据而言，其获得的代价与成本更为巨大，其潜在价值和作用将远远 超出最初的设想1。如何存储并管理这每天29G，一年将近25T的数据，是首先要解决的问题。为此 搭建一个安全且高效的硬件环境作支撑，在其上铺设管理这些数据的应用软件，使 硬件与应用软件相辅相成，将确保绕月探测工程接收到的海量数据安全可靠的存储 和使用。1 GSDSA的基本情

4、况地面应用系统(GSDSA)是一个实时、多功能的科学探测卫星业务运行与科研应用 支持与服务系统。与卫星、火箭、测控、发射场系统一起组成了嫦娥工程的五大系 统。它既是工程的起点，又是工程的归宿，是科学目标和科学价值的最终体现，对 于月球探测工程至关重要。地面应用系统是目前唯一具有深空(月球)探测器数据接 收、空间有效载荷管理、地面系统运行控制、空间探测数据处理、数据管理和科学 应用与研究能力的航天工程和科学应用研究的业务系统，也是我国月球与行星科学 的研究中心。其核心任务是接收全部的月球探测科学数据，进行探月数据的预处理、 科学应用和研究，并最终完成绕月探测工程既定科学目标所规定的任务。地面应用

5、系统由运行管理分系统(OMS)、数据接收分系统(DAS)、数据预处理分系 统(DPS)、数据管理分系统(DMS)、科学应用与研究分系统(SAS )等五个分系统组 成。其中数据接收分系统是拥有我国目前口径最大、接收能力最强，并集深空探测 卫星数据接收和射电天文观测与研究为一体的密云地面站和昆明地面站，分别建有 50m 口径(密云)和40m 口径(昆明)的天线系统。地面应用系统的两架天线就像是嫦娥工程的两只照向太空的眼睛，确保来自月球的 信息安全完整地回到地球。2数据的范围2.1数据类型嫦娥一号卫星上搭载了 8种有效载荷，包括CCD立体相机、干涉成像光谱仪、激 光高度计、Y射线谱仪、X射线谱仪、微

6、波探测仪、太阳高能粒子探测器和太阳风 离子探测器。这些载荷采集到的数据连同载荷本身的工程数据共同组成了卫星下传 到地面的原始数据。这些数据可分为：(1) 科学数据产品：有效载荷工作产生的探测数据。(2) 工程数据产品：有效载荷工作时的状态数据。经数据预处理程序后，地面应用系统将生成不同级别的数据产品，这些级别定义见 表1。表1科学数据产品分级表Table 1 Levels of scientific data product数据级别英 文名称数据描述备注原始数据Rawdata卫星下行数据，经位同步的数据流。位流数 据0级数据Framedata卫星下行数据经帧同步,解扰,RS译码的数据帧序列。L

7、evel0A经帧同步解扰,RS译码的有效载荷数据源包或IIM数据帧。Level0B在 Level0A的基础上，经有效载荷数据源包排序，优化拼接,去重复，去源包包头，生成有 效载荷科学数据块。1级数据Level1在Level0B级的基础上，经物理量转换,并以探 测时间1轨为单位进行数据分幅的数据，生成的相关辅助数据文件、质量文件、描 述文件。2级数据Level2在Level1的基础上经过辐射，几何，光度等校正的数据。 根据有效载荷不同分为2A、2B、2C等级别。3级数据Level3在Level2的基础 上，经过深加工获得的数据产品。2.2数据产品格式说明每个级别的产品都有各自的数据格式，其中有三

8、类基本的数据产品格式：（1）PDS格式数据产品：1、2级科学数据产品、卫星参数数据（轨道和姿态）和定标 数据等产品采用PDS（Planetary Data System行星数据系统）格式。（2）Microsoft EXCEL格式：工程数据产品采用Microsoft EXCEL格式。（3）其他格式：原始数据、0级数据采用二进制文件格式；质量文件、报告文件和 说明文件等采用文本文件格式。3数据管理系统的体系结构3.1数据存储架构地面应用系统的核心任务是提供数据的存储、管理、备份与服务，所需存储的数据 主要包括：原始数据、遥测数据、轨道数据、快视数据、科学研究数据产品等，一 年在线存储数据总量有25

9、.1T。因此存储系统必须有极大的存储能力与良好的可扩 展性、快速的数据访问性能和高效的系统整体性能。我们采用了当前具有广泛应用的SAN（Storage Area Network，存储区域网络）网 络存储技术来构建地面应用系统的数据存储系统。根据SNIA（Storage Networking Industry Association，存储网络工业协会）给出的SAN定义：“SAN是一个网络，其主要目的是在计算机和存储元素之间以及存储元素之间传 输数据”。地面应用系统的数据存储系统是由3台IBM P570服务器，2台EMC DS4700M光纤交换机，1台EMC CX700磁盘阵列和1台STK L70

10、0E磁带库组 成。其中，各主业务服务器均分别连接至两台光纤交换机上，将EMC磁盘阵列连 接至两台光纤交换机实现各类数据的高速在线存取，将STK磁带库连接至其中一 台光纤交换机实现各类数据的高速近线归档备份，连同那些用以存储陈旧、短期内 不会用到的数据的脱机磁带一起，构建成在线存储、近线存储、离线存储相结合的 三级层次存储体系(如图1所示)。在此数据存储网络中，所有链路均采用光纤连接的方式，每条链路速率可达 2G/4Gbps。磁盘阵列和各业务主机均采用两条链路的方式连接至光纤交换机，以 实现链路的冗余备份及负载均衡功能。这样，链路均正常时系统会将数据流量均匀 分布在两条链路上，提高了系统的整体性

11、能，而当其中的一条链路发生故障时，系 统就会自动将全部的数据流量加载到另一条链路上，有效地避免了单点故障，提高 了系统的可用性。图 1 存储系统拓扑图 Fig.1 The topology of a storage system3.2软件功能结构数据管理系统中的应用软件(DMSA)采用B/S(Browser/Server浏览器/服务器)结 构，在这种结构下，客户机上只要安装一个浏览器，用户界面完全通过浏览器实现 一部分事务逻辑，主要事务逻辑在服务器端实现。浏览器通过服务器同数据库进行 数据交互。DMSA负责制定存档业务运行计划，调度数据管理业务的运行，对GSDSA产生 的各类数据进行统一管理，

12、提供统一的用户管理和监控检索界面，提供信息和产品 发布的渠道。主要任务包括：(1)数据存储、管理与服务；(2)系统业务运行管理；(3) 信息与产品发布。其功能结构见图2。服务器端用于完成对数据的存档、下载、管理及通信等功能的实现。底层使用 Oracle数据库作为数据存储的平台。Oracle数据库因其较好的开放性，较强的可 伸缩性和并行性成为目前使用较广的关系型数据库。客户端则实现与用户的交互。主控台用于监视DMS服务器的运行状态及运行日志等关键信息，还可以控制 DMS服务器，比如停止或者启动指定的永久进程、恢复或中止指定的作业等。 系统运行管理网站完成对DMSA系统运行参数的管理，包括用户管理

13、、各类数据 的配置、监视以及检索显示等功能。数据订购网站，完成给需要数据服务的用户提供相关服务的功能。包括：用户登录、 新用户注册、数据产品信息检索、数据产品订购、数据服务在线帮助、订单查询和 跟踪、新闻发布等子功能。图 2 DMSA 系统架构 Fig.2 The system structure of DMSA4数据的存储备份与获取嫦娥工程中所获得的科学数据将利用地面应用系统搭建的硬件与软件环境进行科学 的管理并最终面向全世界的科学家和普通用户。4.1数据存储策略4.1.1数据生命周期管理数据管理从数据产生到数据最终被废弃贯穿数据的整个生命周期，因此数据管理也 就是对数据生命周期的管理，根据

14、数据所处的生命周期阶段的不同，数据存储的位 置也不同。在生命周期初期，数据经常被存取，也是数据最有价值的时期，因此将 数据储存在成本最高的在线存储设备上；当数据进入生命中期时，其价值也相对随 之下降，此时将数据移至近线磁带存储；当数据进入生命周期末期时，则移往离线 设备存放，一旦需要时可以随时将之回存到在线设备。如图3数据管理层次结构 图所示，数据管理应用软件是建立在设备管理商用软件和存档备份策略之上的更高 一级的应用，数据管理软件、数据管理策略和数据管理应用软件相互配合，才能最 终共同完成对数据生命周期的管理。图 3 数据管理层次结构图 Fig.3 The structure of data

15、 management4.1.2数据编目从数据编目角度看，探月卫星资料可划分为元数据和数据。元数据指经提取的、能 够对某具体的数据对象或过程控制进行抽象描述的关系型数据，它包括数据属性信 息、业务监控信息、配置管理参数等。数据泛指探月卫星探测资料和产品数据集， 由文件系统、二级存储数据、离线数据构成。数据编目采用多级编目结构，元数据 作为主编目，下设三级子编目，分别对应数据的文件系统目录、二级存储数据目录 和离线数据管理目录。使用数据库构建元数据主编目，文件系统目录构建数据一级 子编目，自动磁带库的磁带分区目录构建数据二级子编目，已出库磁带数据目录构 建数据三级子编目。客户通过一级数据映射，存

16、储访问文件系统中的在线数据，通 过二级数据映射，存储访问磁带库中的近线数据，通过三级数据映射，访问已出库 的离线数据。主编目和一、二、三级子编目的编目信息均存放于数据库中。4.1.3磁盘阵列资源分配磁盘阵列(Disk Array)中将存放使用最为频繁的在线存储数据，这些数据在盘阵上 可以被方便地调出使用。地面应用系统的磁盘阵列可划分为四类逻辑区：第一类逻辑区为OMS、DPS、DMS、SAS的专用区，存放各种应用程序模块、控 制文件、日志文件、配置参数等等。第二类逻辑区为数据库存储区，存放数据库库体。第三类逻辑区为业务系统数据区，存放各分系统生产的数据以及数据处理所需的各 种中间文件。第四类逻辑

17、区为业务数据在线存储区，又分为四个区域：临时存储区：存放各分系统送达的需存档的数据及其它交互数据；永久存储区：存放配置参数文件等需永久保存的小文件；滚动存储区：根据需要滚动存放一个时间序列的原始数据和各类产品文件，以及 由于探月卫星资料应用领域的不断拓展，各种新的处理方法与算法的研究工作的进 行，可能经常调用的大量历史资料；数据下载区：存放根据用户请求从磁带上调回来的数据文件，这些文件保存一段 时间，以方便被重复使用。在磁盘阵列上各存储区存储的数据见表2。表 2 各存储区数据存储列表 Table 2 Data in each storage area of disk array 存 储区域存储

18、数据类型备注临时存储区抽样数据、遥测数据、轨道数据、兴隆图像数 据、科学计划、探测计划、业务运行计划、原始数据、0级数据、1级数据、2级 数据、3级数据、4级数据、科学研究数据和科普数据等所有要存档的数据所有需 存档的数据都要由生产者将数据放在临时存储区，数据管理分系统得到数据到达通 知后从临时存储区复制数据。永久存储区一些数据量小且经常会使用到的文件存放 在永久存储区,方便使用在存档处理时由临时存储区复制到永久存储区。滚动存储 区遥测数据、轨道数据、兴隆图像数据、科学计划、探测计划、业务运行计划、原 始数据、0级数据、1级数据、2级数据、3级数据、4级数据、科学研究数据和 科普数据等要在磁带

19、库中近线存储的数据存档处理时由临时存储区复制到滚动存储 区;定时将滚动存储区数据批量存入磁带库;当数据在滚动存储区存储时间超过其在 线存储时限时删除该数据。数据下载区根据用户需要从近线磁带库回调回来的所有 数据文件根据数据清理规则进行定期清理4.1.4磁带库资源分配磁带库（Tape Library）是近线存储介质。存放使用率偏低的数据。根据数据的级别， 将磁带库划分为若干存储池，每个存储池可动态定义若干磁带。按照数据级别、生 产系统将数据分类存入事先定义的存储池中。磁带库划分的存储池见表3。表 3 各存储区数据存储列表 Table 3 Data in each storage area of

20、tape library 存储池存储数据原始数据存储池原始数据（卫星下行数据,未经任何处理）0级数据存 储池0级数据（包括0A和0B数据）1级数据存储池1级数据（格式重整后的数据）2 级数据存储池2级数据（辐射、几何、光度等校正数据）科研数据存储池3级数据、 4级数据、科学研究数据和科普数据测控运行数据存储池遥测数据、轨道数据等辅 助数据集，科学计划、探测计划、业务运行计划等卫星图像数据存储池兴隆图像数 据等4.1.5数据存储策略每天根据运行管理软件(OMSA)发送的业务运行计划生成存档计划和产品归档计划， 然后根据数据预处理软件(DPSA )每轨产品生产计划更新相应的产品归档计划。再 根据存

21、档计划每天按时对计划内的各种数据进行分类存档。要存档的数据主要包括: 原数据、0级数据、1级数据、2级数据、抽样数据、辅助数据等。这些数据由各 分系统产生之后直接送达临时存储区，并向OMSA发送数据到达消息，OMSA确 认后向数据管理软件(DMSA)发送数据到达通知，DMSA收到通知后向OMSA发 送应答信息，同时将数据从临时存储区转入永久存储区和滚动存储区，并进行质量 检验和元数据提取，完成数据的在线归档；每天根据存档计划进行数据的集中近线 存档(如图4)。其他存档数据，如3级数据、科学研究数据和科普数据等，由SAS 产生之后向DMS发送存档请求，DMS进行手动批量存档。图 4 数据存储策略

22、 Fig.4 Policy of data storage4.2数据备份策略数据的备份工作作为一项长期需要进行的重要工作，备份策略的制定需要仔细考虑。 对Oracle数据库中的数据，采用NBU(Netbackup网络存储)系列产品进行专门 的备份工作。NBU是企业级备份管理软件，包括服务器/客户端(Server/Client)软件：(1) 在需要连接存储设备(如磁带库或光盘库)的服务器上安装服务器(Server)软件。(2) 在需要提供数据进行备份的机器上安装客户端(Client)软件。Server 和 Client 之间通过 TCP/IP Sockets 通讯。磁盘阵列中的专用区、数据库存储

23、区、永久存储区和滚动存储区中的数据以及 GSDSA总部的UNIX服务器和PC服务器的系统文件和应用文件，采用全自动磁 带库作为数据的备份介质，根据备份数据分类存储需求，将磁带库中所有磁带驱动 器定义成一组或几组资源。按照预案进行指定文件系统、数据库与数据的全备份、 增量备份或差分备份。制定备份窗口、时间和备份方式，全备份每周一次，增量备 份或差分备份每天一次。由于备份主机多，数据量大，采用分组分期备份方式完成 所有数据的全备份。并根据备份的数据量、数据增量、备份窗口等因素，制定可行 的备份日程表。4.3数据获取方式当数据全部传回地球以后，嫦娥工程的科学数据将陆续向全世界的用户开放。用户 根据权

24、限不同可分为直接用户、间接用户和大众用户。(1) 直接用户指的是GSDSA的操作和管理人员，这些用户通过数据管理软件 (DMSA)提供的主控台控制系统运行，并通过B/S界面监视和检索系统运行情况；(2) 间接用户指的是卫星研制单位、科学家群体及GSDSA的其他分系统，这些用 户自动或直接通过B/S界面检索他们所需要的数据，并下载所需数据；大众用户是指普通的非专业用户，这类用户可通过登录GSDSA的对外网站学 习相关的科普知识，了解卫星的运转情况及相关新闻，下载一些对外开放的小量数 据。数据管理系统应用软件的客户端提供了网站形式的数据产品检索服务，该系统基于 J2EE平台构建，采用三层体系结构，

25、用户仅需使用Web浏览器就可以完成数据 的检索、浏览、定购和下载。同时还提供给用户不同的数据获取方式，包括在线 FTP下载和离线介质转储。5结束语对于嫦娥工程科学数据的管理，我们利用存储介质实现数据的在线、近线和离线存 储，使用Oracle数据库和NBU备份管理软件实现数据的高效备份和可靠管理， 这些工作为今后的科学实验以及更多月球产品的开发提供了有力保障，也为广大数 据用户提供了使用数据的可靠来源。数据的科学组织与存储，也为今后的数据产品 格式的多样化和复杂化，提供了可扩展的基础。参考文献：1凌晓良，LEE Belbin，张洁.澳大利亚南极科学数据管理综述J.地球科学进展，2007,22 (5):532-539.