欢迎来到装配图网! | 帮助中心 装配图网zhuangpeitu.com!
装配图网
ImageVerifierCode 换一换
首页 装配图网 > 资源分类 > DOC文档下载
 

粮食大数据资源池设计规范(征求意见) v0.1

  • 资源ID:131958       资源大小:363KB        全文页数:29页
  • 资源格式: DOC        下载积分:3积分
快捷下载 游客一键下载
会员登录下载
微信登录下载
三方登录下载: 微信开放平台登录 支付宝登录   QQ登录   微博登录  
二维码
微信扫一扫登录
下载资源需要3积分
邮箱/手机:
温馨提示:
用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)
支付方式: 支付宝    微信支付   
验证码:   换一换

 
账号:
密码:
验证码:   换一换
  忘记密码?
    
友情提示
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
5、试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。

粮食大数据资源池设计规范(征求意见) v0.1

华 人 民 共 和 国 粮食 行 业 标 准 食大数据资源池 设计规范 击此处添加与国际标准一致性程度的标识 (征求意见稿) (本稿完成日期: 2017 年 8 月) 布 施 发布 目 次 目次 . I 前言 . 食大数据资源池设计规范 . 1 1 范围 . 1 2 规范性引用文件 . 1 3 术语和定义 . 2 4 总体要求 . 4 5 层次结构 . 4 6 数据构成 . 4 7 数据描述 . 6 8 数据接口 . 8 9 数据模型与存储体系 . 9 10 数据安全 . 11 11 备份与恢复 . 11 12 可扩展性 . 13 13 资源池管理 . 13 14 运行环境 . 13 15 技术指标 . 13 附录 A 元数据内容定义 . 14 附录 B 元数据值域代码表 . 24 参考文献 . 1 I 前 言 本标准按照 出的规则起草。 本标准由国家粮食局提出。 本标准由全国粮油标准化技术委员会( 口。 本标准起草单位: 南京财经大学、国家信息中心、国家粮食局 本标准主要起草人: 张璐、伍之昂、曹杰、申冬琴、雷涛、林曦、徐枫、宦茂盛 本标准为首次发布。 粮食大数据资源池 设计规范 1 范围 粮食大数据资源池旨在 汇聚和集成粮食生产、收购、仓储、加工、销售等过程中的各种相关数据,建立 数据丰富 、 格式规范 、 存储安全 、 访问高效 的数据资源平台, 以支撑基于大数据的各种粮食信息化服务。 本标准规定了 粮食大数据资源池 设计 的 基本要求,包括总体要求、 层次结构、数据构成 、 数据描述、数据接口、数据模型与存储体系、数据安全、备份与恢复、可扩展性、资源池管理、运行环境、技术指标等 。本标准适用于 的粮食大数据资源池设计 ,支持 与 粮食行业 其它 信息系统 的 互联互通。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修 改单)适用于本文件。 0174 电子信息系统机房设计规 7859 计算机信息系统安全保护等级划分准则 22239 信息系统安全等级保护基本要求 22240 信息系统安全等级保护定级指南 20273 信息安全技术数据库管理系统安全技术要求 2887 计算机场地通用规范 油储藏 部分 7408 数据和交换格式 日期和时间表示法 4880 语种名称代码 2659 世界各 国和地区名称代码 2260 中华人民共和国行政区划代码 1806食信息系统网络设计规范 1190于网络的虚拟 9111 地理信息 3 术语和定义 构化数据 ( 可以组织成行列结构,可识别的数据。这类数据通常是一条记录,或者是被正确标记过的数据中的某一个字段,并且可以被精确地定位到。 结构化数据 ( 不具备统一的结构,不方便用二维逻辑表来表现的数据, 如文本、图像、声音、网页等。 据集( 由相关数据组成的可标识集合。一个数据集可能是一个较小的数据集合,在物理上或逻辑上位于一个较大的数据集之内;反之,一个数据集也可能由若干数据集组成,是这些子数据集的父数据集。理论上,一个数据集可以小到单个数据文件或关系数据库中的单个数据表。图像、音频、视频、软件等也可以被视为数据集。在本标准中,数据集是元数据的描述对象。 据集类型( 根据数据集的结构或资源特征,对数据集所作的类型划分。 据类型 ( 对数据 的有效值域及对该值域中的值所允许的 操作 的规定。 例如, 数值型 、布尔型、日期类型、文本 类型等。对于复合元素,其数据类型用 “ 复合类型 ” 来标识。 数据( 关于数据的数据。 数据元素( 元数据的 基本 单元。 合元素( 一个复合元素是由若干数据元素、或者数据元素与其它复合元素、或者若干其它复合元素共同组成的 , 通常用来表示较高层次的概念。 据元素 (数据元素是元数据最基本的信息单元。本文档中对每 一个元素的定义都用一个包含九个属性的集合来描述, 这些属性是中文名称、 英文名称、 标识 、定义、类型、值域、可选性、最大出现次数、注释。 体( 按一定结构组织起来的数据的集合,其结构可以用一组属性来 刻画 。例如,关系数据库中的数据表就是一个典型的实体代表 。 系型数据库 ( 建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。 布式文件系统 ( 管理的物理存储资源不一定直接连接在本 地节点上,而是通过计算机网络与节点相连的文件系统。 线 ( 服务商到用户之间铺设有一条专用的线路,只给用户独立使用,其他的数据不能进入此线路。 拟专网 ( 缩略语 : 在共享网络中,通过多种技术(如隧道、加密等)实现原有专用网络的能力,并在保证网络的安全性、可靠性、可管理性的同时提供更强的扩展性和灵活性。 ( 1190 据加密 ( 通过加密算法和加密密钥,将待传输的明文 转换为密文,进而保证粮食流转各阶段信息数据传输的安全性。 字签名 ( 使用了公钥加密领域的技术实现,用于鉴别数字信息的方法。只有信息的发送者才能产生的别人无法伪造的一段数字串,这段数字串同时也是对信息的发送者发送信息真实性的一个有效证明。 向扩展 ( 通过增加新设备而非升级设备部件的方式提升系统处理能力的方法。 4 总体要求 总体而言,粮食大数据资源池 规划 、设计 、 开发 和部署 应满足以下要求: a) 应满足部门业务需求; b) 应具有可操作性、可靠性和可用性; c) 应具有可持 续性和可扩展性; d) 应将数据保密和安全作为高优先项; e) 应履行验证和授权功能; f) 数据安全应与资源池建设同步考虑; g) 应使用基于开放的行业标准和采用成熟的主流技术; h) 资源池管理责任机制由主管、建设和运维单位相应确定; i) 资源池各类技术与设备的选用应遵循经济性要求, 满足当前及 未来 一定时间内 需求的前提下,宜选择 性价比 最好 的设备及技术 。 5 层次结构 粮食大数据资源池以云平台的方式建立并提供服务,平台分为两级:国家级资源池和省级资源池。国家级资源池对接国家级粮食信息系统,同时接收来自省级资源池中的数据,汇集全国范围内的粮食数据 资源;省级资源池对接省级粮食信息系统,汇集本省粮食数据,并定期将数据同步至国家级资源池中。涉粮央企及其它省部级单位的粮食大数据资源池可比照省级资源池设置。各级资源池提供其对应范围内的数据服务,在下级资源池中数据满足服务需求时,应首先使用下级资源池服务。 6 数据构成 粮食大数据资源池中包含粮食生产、收购、仓储、加工、销售等过程中的各种相关数据,与粮食有关的宏观经济数据、管理数据以及互联网公众舆情等数据。这些数据既包括结构化数据,也包含非结构化数据,如文本、图片、音视频等,资源池需支持上述数据的存储与管理,并针对 未来可能产生的新型粮食数据提供足够的扩展能力。 食生产数据 料数据:种植粮食所使用的物料的使用记录,如 种子 种类、来源、数量、生产批次,农药编码、农药名称、生产商、供应商、数量,肥料编码、名称、生产商、供应商、数量等数据。 间环境数据: 田间种植环节的环境参数 ,如 水(高度、水质)、空气(温度、湿度、 照) 、 土壤(湿度、 )等数据。 量统计数据 :全国及各地区耕地面积、 农作物 播种面积、粮食播种面积、粮食总产量、粮食商品量、粮食平均亩产等信息。 食收购数据 食 收购 数据 :粮食“四项补贴”数据、粮食收购主体构成、粮食收购数量、质量、收购进度、 检验结果、收购凭证、 国有企业收购量、政策性粮食收购量等执行情况信息。 食仓储数据 食出入库数据:包括仓库名称、编码,出入库时间,出入库数量,出入库时粮食的水分、杂质、入库干燥方法等信息。 食仓储数据:降水时间、方法,熏蒸时间、药剂、浓度,通风时间,以及仓库 温度、湿度、水分、氧气、二氧化碳、磷化氢、储粮害虫及螨类等 信息; 情测控数据: 粮油储藏 : 粮情测控系统第 1 部分通 则 ( 所规定 的粮情测控系统各设备的运行记录。 储账目数据:各粮库 粮食进出库、保管以及清仓查库过程中涉及的 账目 数据 ,来源 包括:账本、统计报表、统计台账、原始凭证、粮食库保管账、统计表、会计账、银行资金账等 数据 。 储视频数据:粮仓视频监控系统产生的视频数据。 食加工数据 食加工数据:包括加工企业信息,加工生产线编码、名称、加工产品名称,产品规格,加工数量,加工时间,检测时间,检验结论,检验员,产品生产日期等数据。 食销售数据 油市场 数据 : 包括 粮食销售总量 , 国有企业 销售量 , 政策性粮食竞价交易数据 , 终端市场价格 , 主要粮食制品价格等 数据 。 食消费信息: 包括 粮食消费总量 , 人均消费量 , 工业用粮 , 饲料用粮 , 种子用粮 , 居民口 粮等 数据 。 食运输 数据 食运输数据:包括粮食的出发地、目的地,运输过程中的车辆轨迹,运输过程中粮食存放环境,时间、操作人员, 通过 入 库系统检测的粮食货位号、运输工具编号、吨粮袋号、地磅计量信息 等数据。 观粮食 数据 观统计 数据 : 包括 储粮生态分区、产销分区、产量大县、粮食 质量指标、人口总数、地区产值、地区财政收入、城镇居民人均可支配收入、农民人均纯收入等基本信息。 食库存 数据 : 包括 国有及非国有粮食经营企业库存、粮食转化企业库存、农户存粮、城镇居民存粮等 数据 。 观 流通 数据 : 包括 省外购进、销往省外、政策性 粮食 跨省移库情况 , 粮食进口量、粮食出口量等 数据 。 际市场 数据 : 包括 主要国家经济指标、粮食期货 指数 、现货价格、国际主要粮食制品价格、世界银行农业相关数据、国际粮农组织相关数据、美国农业部相关数据等。 观调控信息:粮食供需平衡 预测、粮食综合生产能力评价、优化运输、储备粮轮换计划编制信息等 。 食 管理数据 粮 企业信息: 包括 全国粮食仓储企业 , 粮食加工企业等信息。 政许可业务管理信息: 包括 粮食收购资格许可、储备粮承储资格许可、仓储单位备案、熏蒸作业备案、经纪人备案、质量追溯等方面 的数据 。 它外部 数据 它涉及粮食行业的外部互联网数据,包括各种与粮食相关的新闻报道等。 7 数据描述 数据的组织结构、管理信息及访问信息等内容利用元数据进行描述,存储于粮食大数据资源池中的数据都应提供相应的元数据。具体的 元数据依赖于其描述对象,由于资源池中的数据在来源、内容、结构、访问方式上具有差异,这里仅给出编写元数据描述的规范,即元数据标准。符合该标准的元数据能 够保证数据的管理者、使用者能够顺利理解并应用相关数据。 数据内容 元数据以不同层次的数据集作为基本描述对象, 包括数据集描述信息、数据集分发与服务信息、结构描述信息等 3 个主要复合元素模块,还包括范围信息和联系信息两个辅助模块,此两个模块不可单独使用,供其它模块的特定元素在需要的时候进行引用。 据集描述信息 数据集描述信息模块是记录数据集基本信息的模块,是一个必 选模块。通过使用数据集描述信息模块,建库 人或 单位可以对数据集本身的基本属性信息进行详细描述,例如数据集名称、 分类 、创建者、摘要、来源、所采用的语言等,数据集用户可以通过浏览这些描述信息对数据集形成一个总体了解。同时,在本模块中,还可以引用两个辅助模块的信息。 具体定义见附录 据集分发 与服务 信息 数据集分发与服务信息模块是记录与数据集发行、获取及提供服务有关的信息的模块,为必选模块。主要包括数据格式、使用数据集的技术要求、收费策略、权限声明、订购指南、联系信息等内容。记录与数据集相关的服务的标识信息, 以及详细的服务元数据信息,该模块用于在数据集与相关服务之间建立连接。在本模块中,引用了 “ 联系信息 ” 这个辅助模块。具体定义见附录 构描述信息 结构描述信息模块记录数据集所包含实体的结构的有关信息,包括实体基本信息、属性信息、 约束条件等内容。这里的实体结构信息包括关系数据库中的数据表及其属性信息,包含了关系数据库数据字典中的大部分信息。此外,对于不通过数据库管理,但是具备关系数据库表格类似特征的实体,也可以通过此模块来描述,例如具有明确字段或键的文档数据库和文本文件等。具体定义见附录 围 信 息 范围信息模块是一个辅助模块,其中包括数据集内容所涉及的分类、时间和空间范围的 信息。该模块不能单独使用,而是被主要模块的有关元素引用。具体定义见附录 系信息 联系信息模块记录与数据集有关的个人和组织的联系信息。该模块与范围信息模块类似,不可 单独使用,而是被主要模块的有关元素引用。具体定义见附录 素属性 对于元数据标准所定义的每个元数据元素(包括复合元素和数据元素),均采用九个属性来描述,如下表所示。 表 1 元素属性 表 属性名称 说明 中文名称 元素的中文名称 英文名称 元素的英文 名称 标识 用字符串表示的元素标识 定义 对元素含义的解释 类型 元素所属的数据类型,见数据类型表 值域 元素值的允许范围 ,自由文本表示无限制 可选性 元素是比选元素还是可选元素,可以的值包括: M(必选)或 O(可选) 最大出现次数 元素所允许的出现次数,只出现一次用“ 1”表示。重复出现用“ N”表示。不为 1 的固定出现次数可用相应的数字表示,如“ 2”、“ 3”、“ 4”。不出现用“ 0”或“ 示。 注释 对元素的补充说明、建议及其它 表 2 数据类型 表 数据类型 说明 文本( 自由文本,表面对数据项(字段)的内容没有限制。 数值 ( 通过数值的形式表达值的类型 ,包括整数和实数等 。 时间 ( 以年月日时分秒 的形式表达的值的类型 ,参见 7408。 布尔 ( 两个而且只有两个表明条件的值,如 1 或 0。 二进制( 通过二进制格式存储对象,如图片、音频、视频等。 复合( 由若干数据类型组成,或具有特定值的枚举类型 8 数据接口 粮食大数据资源池需支持三 种类型的接口:数据获取接口、数据访问接 口 、数据同步接口。 据获取接口 数据获取接口主要用于收集 各种粮食数据。 在权限范围内,接口 应支持利用相关 现 有粮食信息系统对接,提取其中的数据,同时也应支持从传感设备、爬虫以及人工录入方式直接获取数据。 据访问接口 数据访问接口用于对外提供数据访问服务。支持多种访问模式,包括:数据库连接访问、中间件访问 、 准接口、 件下载以及其它第三方软件访问方式,采用第三方软件 时,应提供具体的接口访问协议说明和数据格式。 据同步接口 数据同步接口在国家级和省级资 源池间同步数据,支持数据的增量更新。接口主要由国家级资源池提供,省级资源池通过请求 口支持数据的压缩和加密传输,数据封装为多个单元进行传输,每个传输单元的数据量不宜超过 5 9 数据模型与存储体系 据模型 粮食大数据资源池中汇集粮食产收储加销各环节的相关数据,以及宏观经济管理数据、运输数据、互联网外部数据等。这些数据形态各异,既包含严谨规范的结构化数据,也包括文本、图、轨迹、图片、音视频等非结构化数据,各种数据需要采用合理的存储模型进行组织。资源池应至少支持关系模型、键值模型、列存储模型、文档模型和图模型 5 种数据组织和存储模型。其中,结构化数据推荐采用关系模型组织;具有明确键值对的非结构化数据推荐采用键值模型组织;面向分析型查询,需要高效压缩和I/O 效率的数据推荐采用列存储模型组织;大段文本,需要在历史版本间形成嵌套环结构的数据推荐采用文档模型组织;具有或能够抽象为明确点边结构的数据推荐采用图模型组织。 储 体系 粮食 大 数据资源池提供服务器本地存储与专用存储设备相结合的存储体系,各种粮食数据根据其访问频率和安全性要求选择合适的存储位置。业务数据 主要 存储于服务器本地硬盘中, 同时采用分片方式使计算与存储能够尽量在同一台物理机器上进行,降低网络 I/O 开销。外置专用存储设备主要用于数据的备份,可对数据进行定时、增量式的备份,同时支持将备份数据导入计算系统。服务器、专用存储设备中的存储介质以磁盘为主,支持磁盘阵列,同时辅以固态硬盘( 高频访问数据进行加速。 为适应不同格式粮食 数据 的存储, 资源池 应 包含 以下存储方案,并构建混合存储系统。 系型数据库 关系型数据库主要用于结构化数据的存储,应支持分布式部署,并能够利用 行重要数据的随机读写加速。 布式文件系统 分布式文件系统 用于存储大文件数据,各 节点 通过以太网互联,并能够屏蔽底层细节,提供统一、 0 透明的文件存取和数据管理功能。分布式文件系统应不依赖于具体的操作系统, 支持分块, 能够自动复制,不会产生单点失效。支持层级结构(目录树),能够设置并管理文件属性与访问权限,支持 备容错功能。文件系统能够通过元数据进行管理,元数据记录文件大小、份数、存储位置等关键信息。 存数据库 内存数据库用于存储需要频繁查询的粮食 数据 。内存数据库需能够分布式、跨平台部署,同时支持数据持久化。分布式部署的内存数据库支持主从复制、增量复 制以及数据同步,对外能够提供标准化问接口。 存数据库 缓存数据库主要对一定时间内访问过的粮食数据进行缓存,以减轻对主数据库频繁查询的压力。缓存数据库一般应将数据存储在内存中,主要面向数据读取进行优化。缓存数据库能够从不同的数据库中加载数据,但不能替代真正存放数据的各类数据库。 键 够提供直接访问键 盖类似关系数据库的 单表 查询功能,支持数据索引的建立,支持数据压缩。 数据库 图数据库主要用于存放具有 点、边结构的图数据。支持 数据 的 水平分割 , 超大规模邻接矩阵查询 ,潜在复杂的集合算法查询 , 支持路径搜索 ,能够使用 高级 图形遍历语言 及 脚本, 能够 通过使用键值和关系进行索引 , 能够对 查询结果进行分页。 能够存储 图 的节点和边带有 的 元数据,支持在线备份 。 媒体数据库 多媒体数据库主要用于存放图像和视频数据。由于图像和视频文件较大,一般将原始文件存放 于 分布式文件系统,在多媒体数据库中则主要存储 相应 的文件路径。多媒体数据库 应 采用关系模型或键 据索引 能够提供索引服务,支持快速数据查询。索引服务既可利用各类 数据库自带的索引功能,也可另行安装第三方索引软件。第三方索引软件需支持 分布式 部署,能够提供全文检索,拥有完备的查询语法, 1 具备高可扩展性和容错能力。 10 数据安全 资源池 中的数据安全须遵循 信息系统 安全 标准 22239, 22240 中的数据安全部分要求进行建设,全面覆盖 标准 中数据安全的控制项要求。 数据库的安全须遵循 信息安全技术数据库管理系统安全技术要求 ( 20273), 能够提供字段级、记录级以及文件级的加密与完整性保护功能。能够对数据资源设置不同的访问权限,支持基于角色的 访问控制。能够对用户进行分组管理,并基于用户组进行授权。能够利用安全协议与证书对用户进行认证,并通过数字签名技术实现访问行为的不可抵赖性。系统通过日志记录用户对资源的各种访问行为,并提供审计功能。根据数据的保密要求限定访问源,敏感数据只接受来自内网、专线或虚拟专网的访问请求,并通过加密或其他有效措施实现传输保密性。 11 备份 与恢复 为保障数据安全,资源池需具备简单、经济、可靠的备份及容灾能力。 资源池需支持手 工触发备份和后台自动备份 两种方式, 通过定义自动备份任务,并且对其进行调度的方式触发数据备份工作的执行,备份 策略如数据类型和备份周期等参数可以由用户灵活配置。 份 要求 数据备份除数据本身外,还包括数据配置信息、数据维护日志、系统访问日志及业务应用日志等,具体的要求如下: a) 数据是系统的核心内容,必须保证完整安全及时地备份。要求定期对数据做增量备份及全量备份,要求完整的数据备份保存 2 个版本,每个备份保存两个备份周期。 b) 全量备份要求在业务量较小的情况下进行,在线全量备份时间应控制在 12 小时以内,在线增量备份应控制在 2 小时以内; c) 数据配置信息需存放在单独的存储空间上,减少在类似数据丢失情况下进行数据库恢复的时间; d) 数据 维护日志、系统访问日志以及业务应用日志的备份,要求每天定时备份,在系统访问量小的时间段进行;要求保存至少半年以上,或者根据实际的情况而定。 e) 最低标准的备份策略为:每天备份一次,备份保留 18 天,以周为单位,第一天全量备份,后 2 续 5 天增量备份,第 7 天全量备份。指定的具体备份策略不得低于这一标准。 f) 要求各类数据库能够在线备份,在系统不间断服务的情况下完成自动备份。 g) 备份对象 能够 按既定的备份策略自动或手工备份到指定介质,备份介质需支持:磁带、磁盘、磁盘阵列、光盘等。 h) 备份包括冷备份和热备份两种模式, 数据备份应根据数据 量及访问频率,遵循不同的备份模式。数据量大,读取调用频率低的数据,使用冷备份方式,采用服务器外置存储方式进行集中备份。数据量小,频繁读取调用的数据,通过相应数据库的备份机制进行备份,同时在服务器中采用磁盘阵列方式进行存储。 需保证 副本与原始数据存储于不同的物理服务器中。此类数据应采用热备份方式,当出现异常时,备份数据能够实时接替系统的访问请求,维护业务运行的连续性。 i) 备份设备应具有较强的平滑扩充能力,包括系统设备容量的扩充及 I/O 能力的扩充。 j) 在允许的情况下,通过 异地 备份机制进一步提升不可抗力下的系统容灾能力。 复 要求 大数据资源池中备份 数据 的恢复满足下述要求: a) 任何原因的系统故障和数据丢失应在 4 个小时内恢复正常运行; b) 备份数据应能方便快捷地恢复到在线系统,并确保其可用; c) 对于一些重要数据提供断点恢复功能,数据可恢复到故障前状态; d) 系统数据可进行联机恢复,被恢复的数据必须保持原数据的完整性和一致性,提供完整的系统数据安全监控、报警和故障处理; e) 对于数据库中表 /用户被误删除的情况,为提高恢复速度,系统应能够维护一个良好的逻辑备份或部分表空间的备份,通过逻辑备份恢复数据或 恢复单个存储空间;同时支持通过数据库备份(或增量备份)结合数据库归档日志文件恢复的功能。系统支持应有相关操作的审批机制以及一定的系统安全措施(如数据库口令限制在少数几个人了解、定期修改相关口令等)有效避免出现类似问题; f) 对于数据库中数据块发生逻辑 /物理损坏或单个表空间损坏的情况,支持通过恢复单个存储空间并对数据库进行恢复; g) 对于数据库出现逻辑错误导致数据库无法正常使用的情况,可以采用数据库的全备份(或增量备份)结合数据库的归档日志文件进行恢复。 3 12 可扩展性 资源池的扩展应以横向 扩展 为主 。 13 资源池管理 提供可视 化管理界面,具备权限的管理人员 能够 进行数据的导入导出,并对资源池中设备的使用状态进行实时监控,同时能够对服务器存储配额进行管理,能够设置访问权限及各种数据安全和备份参数。 14 运行环境 资源池相关的服务器、专用存储设备及其它附属硬件设施应在部署于专用机房种,所在计算机机房场地应满足 计算机场地通用规范 ( 2887) 的要求 , 计算机机房设计应满足 电子信息系统机房设计规 ( 0174)的要求,设备间的组网满足 粮食信息系统网络设计规范 ( 1806要求。 15 技术指标 在网络条件未 造成瓶颈的前提下,大数据资源池应满足以下设计指标: a) 国家级资源池存储数据量不低于 200据访问接口支持 访问并发数不低于 10000, 在最大并发数下,用户的请求涉及数据库处理的响应时间最长不超过 3 秒 ,文件传输速率不低于20MB/s。 b) 省级资源池存储数据量不低于 50据访问接口支持 访问并发数不低于 3000, 在最大并发数下,用户的请求涉及数据库处理的响应时间最长不超过 3 秒 ,文件传输速率不低于 10MB/s。 c) 系统消息处理延迟(从系统收到请求消息到返回应答的时间间隔)不大于 500 毫秒 (99%概率)。 d) 省 级与国家级资源池间数据同步速率不低于 1GB/s。 e) 各级资源池需能够 7*24 小时不间断工作,省级资源池平均无故障率不低于 99%,国家级资源池平均无故障率不低于 4 附录 A 元数据内容定义 据集描述信息 序号 中文名称 英文名称 标识 定义 类型 值域 可选性 最大出现次数 注释 1 数据集名称 据集的中英文名称 复合 M 1 由 素构成 据集代码 识数据集的唯 一代码 文本 自由文本 M 1 据集中文名称 据集的中文名称 文本 自由文本 M 1 据集中文名称 据集的中文名称 文本 自由文本 M 1 据集别名 据集的其它名称 文本 自由文本 O N 简称、俗称、缩写等 2 主题 述数据集内容的词语或短语 复合 M N 由 素构成 题词 述数据集的专业主题词语 文本 粮食学科主题词表中的专业词汇 M N 由关键词 用户自由选择的描述数据集内容的词语 文本 自由文本 O N 3 描述 数据集内容的文本描述 文本 自由文本 M 1 摘要、目录、图形的文字说明等 4 目的 开发该数据集的目的的说明 文本 自由文本 O 1 5 类型 据集 中数据所属类型的说明 复合 表 1 6 存储模型 据集中数据所使用存储模型的说明 复合 表 1 7 数据量 据集所包含数据量的 复合 O 1 由 素构成 5 说明 录数 据集所包含的记录数 数值 非负整数 O 1 记录为最基本的数据粒度 储量 数据集所占物理存储空间表示的数据量 文本 自由文本 O 1 单位字节、 B、 8 数据来源 据集中数据的来源 文本 自由文本 O N 产生数据集中数据的粮食信息系统 9 数据集提供者 供数据集的个人或组织名称 文本 自由文本 M N 可调用数据集联系信息模块 10 数据集贡献者 数据集创建做出贡献的个人或组织名称 文本 自由文本 M N 可调用数据集联系信息模块 11 更新频率 述数据集在多长的时间内更新一次 文本 表 1 12 数据集时间 数据集的创建和修改时间相关的时间 复合 M 1 由 素构成 建时间 据集内容的创建日期 时间 7408 M 1 近修改时间 据集内容最近一次修改时间 时间 7408 O 1 13 语种 据集内容所采用的语种 文本 4880 M N 14 关联数据集 当前数据集相关的其它数据集 复合 O N 由 素构成 联 联数据集的 本 自由文本 O 1 联类型 联数据集与当前数据 文本 表 1 6 p 集之间的关系类型 15 数据集范围 据集内容所涉及的分类和时空范围 复合 O 1 参见范围信息 据集 分发与服务 信息 序号 中文名称 英文名称 标识 定义 类型 值域 可选性 最大出现次数 注释 1 权限声明 与数据集的访问、使用和传播等行为有关的限制声明 文本 自由文本 O 1 2 技术要求 用该数据集必要的技术前提 文本 自由文本 O 1 3 收费策略 数据集收费机制的描述 文本 自由文本 O 1 4 订购指南 关数据订购方法或订购过程的说明 文本 自由文本 O 1 5 访问时间 据集提供访问服务的时间范围 文本 自由文本 O 1 6 服务指示信息 由服务元数据规范所描述的数据集为用户提供服务的指示信息 复合 M 1 由 务唯一标识符 务的唯一标识符 文本 自由文本 M 1 务名称 据集所提供服务的名称 文本 自由文本 M 1 务类型 据集所提供服务的类型 文本 表 1 7 接服务 问服务的 本 自由文本 M 1 据库系统 据集所存放的数据库管理系统的名称 文本 自由文本 M 1 直接连接数据库时使用 据库版本 据集所存在的数据库管理系统的正式公开版本号 文本 自由文本 M 1 直接连接数据库时使用 据库名称 据集所存放的数据库的具体名称 文本 自由文本 M 1 直接连接数据库时使用 间件系统 问数据集时所使用的中间件系统的名称 文本 自由文本 M 1 利用中间件访问时使用 间件版本 问数据集时所使用的中间件系统的正式公开版本号 文本 自由文本 M 1 利用中间件访问时使用 务 务对外提供的网址 文本 自由文本 M 1 利用 合域名规则 名性 否支持匿名服务 布尔 布尔值 M 1 利用 问时使用 户名 问数据所需的用户名 文本 自由文本 M 1 码 问数据所需的密码 文本 加密文本 M 1 接主机 P 据集所在系统提供网络服务的主机 址 文本 自由文本 M 1 符合 址规则 口号 据集所在系统为数据集访问服务提供的服务端口 数值 非负整数 M 1 务描述 务的描述信息 文本 自由文本 O N 介绍有关该服务的情况 7 数据格式 据的格式说明 文本 自由文本 M N 数据如何解析的说明 8 8 联系方式 据集管理者(组织)的联系信息 复合 O N 参见联系信息 构描述信息 序号 中文名称 英文名称 标识 定义 类型 值域 可选性 最大出现次数 注释 1 检索点 据库中作为检索起点的主表或视图 文本 自由文本 M 1 2 实体 据集存储实体的有关信息 复合 M N 体名称 体的存储名称 文本 自由文本 M 1 体中文标签 体文件的描述性中文标题 文本 自由文本 O 1 体类型 体的类型 文本 自由文本 O 1 体定义 实体所表示意义 的解释和说明 文本 自由文本 M 1 键 实体主键的声明 文本 自由文本 O 1 性 体中属性的基本信息 复合 O N 由 性名称 性在实体中存储时采用的名称 文本 自由文本 M 1 若实体类 型为 数据表,则此元素指的是表中字段名称 性中文标签 性的描述性中文名称 文本 自由文本 O 1 性类型 性在实体中存储的数据类型 文本 自由文本 M 1 储长度 性在实体中设定的最大存储长度 数值 非负整数 M 1 单位为字节 9 量单位 量属性值的基本单位 文本 自由文本 O 1 建议采用标准的计量单位名称或标识 度 性值的精 确程度 数值 非负实数 O 1 以计量单位元素为单位 认值 性值的默认值 文本 自由文本 O 1 性描述 属性含义的描述性阐解 文本 自由文本 O 1 联实体 此外键为主键的相关实体 文本 自由文本 O 1 应填写相关实体的存储标识 联类型 体之间关联关系所归属的种类 文本 自由文本 O 1 用时,该元素必选, 可一对一,一对多,多对多等关系 否只读 性是否为只读属性 布尔 布尔值 O 1 否空值 性是否可以为空值 布尔 布尔值 O 1 应填写非空的属性的标识 3 关系 据集所存储实体之间的关系的基本信息 复合 O N 由 素构成 联实体 体关联关系中实体对象 文本 自由文本 M 1 联实体属性 体关联关系中,关联实体用来实现与子实体关联的属性 文本 自由文本 M 1 联子实体 体关联关系中实体对象 文本 自由文本 M 1 联子实体属性 体关联关系中子实体 文本 自由文本 M 1 0 现与关联实体关联的属性 联类型 体之间关联关系所归属的种类 文本 自由文本 M 1 可一对一,一对多两种关系 围 信息 序号 中文名称 英文名称 标识 定义 类型 值域 可选性 最大出现次数 注释 1 数据集内容范围 据集内容所涉及的分类范围 复合 表 N 2 数据集时间范围 据集内容所涵盖的时间范围 复合 O 1 由 素构成 始时间 据集原始数据生成或采集的起始时间 时间 7408 M 1 止时间 据集原始数据生成或采集的终止时间 时间 7408 M 1 3 数据集地理范围 据集内容所涉及的地理区域 复合 O 1 由 素构成 述 关地理区域的描述 文本 自由文本 O 1 政区划范围 据集内容所涉及的行政区域范围 复合 O 1 由 素构成 家 据集覆盖的国家 文本 2659 O 1 (市、自治区) 据集覆盖的省、市、自治区 文本 2260 M 1 市 据集覆盖的城市 文本 自由文本 M 1 纬度范围 据集覆盖的经纬度范 复合 O 1 由 素 1 构成 东经度 据集覆盖范围最东边坐标,用十进制(东

注意事项

本文(粮食大数据资源池设计规范(征求意见) v0.1)为本站会员(H****r)主动上传,装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知装配图网(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。




关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!