大数据平台内存计算节点

《大数据平台内存计算节点》由会员分享，可在线阅读，更多相关《大数据平台内存计算节点（9页珍藏版）》请在装配图网上搜索。

1、-1、大数据平台存计算节点序号技术指标要求投标响应1.1*数量1台效劳器，2个计算节点1.2硬件配置要求配置要求原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。要求配置企业级机架式非刀片式效劳器，模块化架构，可堆叠。通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的严密集成的大数据平台。每套设备的技术要求如下：平台要求：高度2U包括2个效劳器节点，每个效劳器节点: 支持2颗Intel *eon E5-2600v3、v4系列处理器每个节点最大8根存插槽，最大支持512G存，每个节点最大支持6个3.5寸SAS/SATA硬盘支持SAS Raid0，1，5，6，双千兆网口，每个节点最大

2、支持2个PCI-E *8 3.0 插槽2个，PCI-E *8 1个，1280W冗余电源处理器: 每个效劳器节点实配_2个64位8核处理器，主频_2.1_GHz存：每个效劳器节点实配_128_GB DDR4，存主频2133MT/sSSD存储：Intel PCIE-SSD加速卡2TB硬盘：每个效劳器节点实配至少_3 块4T 3.5 7200RPM SAS企业级硬盘配置要求每个独立物理计算节点的技术要求如下：1) 系统扩展性和扩容性采用横向扩展的架构，可随着节点的增加而使得CPU、存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。支持在线升级，保证随数据存储和计算需求的增长而平滑升级。平台由

3、多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联。为保证平台724小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持根本同比增长关键应用的高可用性采用工程化设计，可提供高级别的高可用性。所有故障类型均可得到防护，包括磁盘、 效劳器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。支持PCIE-SSD闪存加速允许用户将频繁的表数据保存在SSD中缓存中，同时不常的数据仍保存在磁盘中。这种方式兼具SSD 的高性能与磁盘的大容量和低本钱。允许用户任意

4、指定数据库表、分区和段的数据驻留在SSD上。在SSD闪存中实现列式存储，更进一步提高SSD闪存加速效果，在TPC-DS基准测试中性能提升10倍以上。提供第三方测试机构出具的测试报告。通过中断优化、核优化、BIOS优化、NUMA优化实现分布式处理能力提升，提供相应的功能证明材料。为自主研发的产品，拥有独立知识产权，提供相应的证明材料。配置项完整性承诺投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。如果缺漏或不符，应免费补充或更换。1.3软件配置要求投标大数据平台的软件产品需具备：两年以上(含

5、两年) Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。投标大数据平台的软件产品需具备：中华人民国国家局自主知识产权的计算机软件著作权等级证书，并提供证明文件。大数据平台软件基于Apache开源社区，保持开放性，并在可靠性、平安性、管理性、高效性方面进展了增强。采用Spark作为存计算引擎，支持基于存或者SSD固态硬盘高IO特性优化的列式存储，防止IO带来的延时以提高数据扫描速度。提供基于SQL，面向海量数据进展任意维度的存计算交互式分析能力。*支持在分布式列式存储上建立局部索引，提供OLAP能力，为大表创立索引，支持多维数据灵活分析。采用全局索引，快速找到准确查询的记录，

6、准确定位数据。支持物化视图技术，在查询分析时通过MBO进展执行方案优化，提升交互式分析性能与并发度。*提供存计算的数据集市开发工具，支持拖拽方式设计Cube模型，支持维度/度量/层次构造/级别/属性，支持星型模型、雪花型模型。*提供全向量化的执行引擎，通过向量化操作可以降低解析传输等操作的开销，提升系统并行化效率，加速存计算交互式分析业务场景。提供分布式存储框架，防止各个存储引擎在高可用、接口抽象、运维等方面的重复，能够对接各种专用存储引擎。产品具有高性能特性，能对亿级数据进展任意维度、任意过滤条件的聚合分析，秒级响应，同时具有100以上的并发能力。*在大数据存计算的数据管理方面，提供多存储层

7、级支持，能够将应用表建立在不同IO读写速度的不同介质上，包括磁盘、SSD固态硬盘和存，其中建立的非易失存储上的数据表在整个系统重启后能保证数据不丧失。*投标人需承诺，软件功能科研根据大数据研究所进展科研和教学的需求进展定制开发。2、大数据平台存储节点序号技术指标要求投标响应1.1*数量2台效劳器，4个存储节点1.2硬件配置要求配置要求原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。要求配置企业级机架式非刀片式效劳器，模块化架构，可堆叠。通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的严密集成的大数据平台。每套设备的技术要求如下：平台要求：高度2U包括2个效劳器节点，每个效劳器

8、节点: 支持2颗Intel *eon E5-2600v3、v4系列处理器每个节点最大8根存插槽，最大支持512G存，每个节点最大支持6个3.5寸SAS/SATA硬盘支持SAS Raid0，1，5，6，双千兆网口，每个节点最大支持2个PCI-E *8 3.0 插槽2个，PCI-E *8 1个，1280W冗余电源处理器: 每个效劳器节点实配_2个64位8核处理器，主频_2.1_GHz存：每个效劳器节点实配_64_GB DDR4，存主频2133MT/s硬盘：每个效劳器节点实配至少_5块4T 3.5 7200RPM SAS企业级硬盘1.2.2配置要求每个独立物理计算节点的技术要求如下：1) 系统扩展性

9、和扩容性采用横向扩展的架构，可随着节点的增加而使得CPU、存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。支持在线升级，保证随数据存储和计算需求的增长而平滑升级。平台由多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联。为保证平台724小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持根本同比增长关键应用的高可用性采用工程化设计，可提供高级别的高可用性。所有故障类型均可得到防护，包括磁盘、 效劳器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余

10、的风扇等。通过中断优化、核优化、BIOS优化、NUMA优化实现分布式处理能力提升，提供相应的功能证明材料。为自主研发的产品，拥有独立知识产权，提供相应的证明材料。1.2.3配置项完整性承诺投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。如果缺漏或不符，应免费补充或更换。1.3软件配置要求投标大数据平台的软件产品需具备：两年以上(含两年) Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。投标大数据平台的软件产品需具备：中华人民国国家局自主知识产权的计算机软件著作权等级证书

11、，并提供证明文件。大数据平台软件基于Apache开源社区，保持开放性，并在可靠性、平安性、管理性、高效性方面进展了增强。提供标准JDBC包括JDBC type 4 driver、ODBC驱动，ODBC驱动至少兼容linu*、windows64位。*支持Oracle、DB2、Teradata、HiveSQL等多种数据库/数据仓库方言。兼容Oracle PL/SQL、IBM DB2 SQL PL、Teradata宏，包括函数、流程控制、Package、游标、异常处理以及动态SQL等语法。支持SQL2003语法，支持存储过程。支持多种数据输入输出管理，包括：1) 多种数据类型接入存储，例如构造化数据

12、、半构造化数据、非构造化数据、常见字符集、常见数据格式、常见压缩类型。2) 多种加载方式，例如批量模式、增量模式、准实时接入模式、实时接入模式等。3) 多种数据类型输出，例如常见数据类型、常见数据格式、常见导出方式。*具备统一数据存储管理能力，基于统一数据存储管理让多种数据存储引擎的差异透明化。统一数据存储管理能够支持使用一种计算引擎对接多种分布式存储系统/引擎，包括分布式文件系统、基于存或固态硬盘的列式存储、搜索引擎、分布式NoSQL数据库等。*支持半构造化(JSON/BSON形式存储)和非构造化文本数据的高效存储与搜索，支持全文索引功能，实现文本数据等非构造化数据的搜索。支持使用SQL接口

13、进展半构造化数据JSON/BSON形式存储的查询、更新与删除。支持海量影像数据或文件数据等大对象数据的存储与检索，提供稳定高效的入库和检索能力，支撑非构造化数据容管理。产品具有高性能：按关键字检索单表记录延时小于500ms,单个节点并发度超过200。按关键字检索多表关联记录延时小于2s, 单个节点并发度超过200。系统中不允许存在单点故障，任何一个角色故障后都应有备份机器承当原失效节点工作，并在监控页面上对错误状态进展显示标识。*投标人需承诺，软件功能科研根据大数据研究所进展科研和教学的需求进展定制开发。3、大数据平台深度机器学习节点序号技术指标要求投标响应1.1*数量1台效劳器，1个计算节点

14、1.2硬件配置要求配置要求原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。要求配置企业级机架式非刀片式效劳器，模块化架构，可堆叠。通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的严密集成的大数据平台。每套一体机的技术要求如下：平台要求：高度2U包括1个效劳器节点，每个效劳器节点: 支持2颗Intel *eon E5-2600v3、v4系列处理器每个节点最大16根存插槽，支持2TB16 个DIMM 插槽 DDR4 ECC 2400/2133/1866/1600MHz存，支持12块3.5寸SAS/SATA/SSD硬盘支持SAS Raid0，1，5，6，四千兆网口，3个PCI-E

15、3.0 *16插槽 (FH, 10.5 L),3个PCI-E 3.0 *8 插槽，1000W冗余电源，VGA接口1，USB2.02，RJ-45管理口1处理器: 每个效劳器节点实配_2个64位8核处理器，主频_2.1_GHz存：每个效劳器节点实配_64_GB DDR4，存主频2133MT/s硬盘：每个效劳器节点实配至少_3 块2T 3.5企业级硬盘GPU加速卡：存8GB，CUDA核心2560，存带宽192GB/S配置要求每个设备的技术要求如下：系统扩展性和扩容性采用横向扩展的架构，可随着节点的增加而使得CPU、存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。支持在线升级，保证随数据存储

16、和计算需求的增长而平滑升级。平台由多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联。为保证平台724小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持根本同比增长关键应用的高可用性采用工程化设计，可提供高级别的高可用性。所有故障类型均可得到防护，包括磁盘、 效劳器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。通过中断优化、核优化、BIOS优化、NUMA优化实现分布式处理能力提升，提供相应的功能证明材料。为自主研发的产品，拥有独立知识产权，提

17、供相应的证明材料。配置项完整性承诺投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。如果缺漏或不符，应免费补充或更换。1.31.3.1软件配置要求投标大数据平台的软件产品需具备：两年以上(含两年) Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。投标大数据平台的软件产品需具备：中华人民国国家局自主知识产权的计算机软件著作权等级证书，并提供证明文件。大数据平台软件基于Apache开源社区，保持开放性，并在可靠性、平安性、管理性、高效性方面进展了增强。*提供丰富的分布式统计算

18、法以及机器学习根底算法库，包括数据预处理，数值分析，特征工程相关分布式算法以及根底的分类、聚类、预测等机器学习算法，方便数据分析人员进展数据分析与挖掘的相关工作。*提供流数据实时分析预测能力，进展流式机器学习。*支持自定义分布式数据挖掘算法，用户可以根据生产需求自定义开发分布式数据挖掘算法。数据分析开发语言与接口支持：1)提供R语言开发接口支持。2)提供Python语言开发接口支持。3)提供API开发接口支持。支持主流深度学习框架，包括Tensorflow、M*Net，通过将深度学习框架与Hadoop体系融合，帮助数据科学家以及分析人员敏捷构建DNN，N等模型，使用全量数据样本进展模型训练，提高算法的精准度。支持挖掘标准PMML模型导入导出，方便模型管理与使用。支持模型管理，包括置行业模板、自定义模型模板。支持模型协作，多人协作模型开发模式。*提供3种以上的脱敏数据源，定制开发3个行业大数据分析的业务场景，能完整显示从数据洞察、数据清洗、数据归一化、建立模型、模型验证到模型应用的全过程。*投标人需承诺，软件功能科研根据大数据研究所进展科研和教学的需求进展定制开发。. z