上海超级计算中心三期--作业调度系统软件项目需求书

《上海超级计算中心三期--作业调度系统软件项目需求书》由会员分享，可在线阅读，更多相关《上海超级计算中心三期--作业调度系统软件项目需求书（6页珍藏版）》请在装配图网上搜索。

1、编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第6页 共6页上海超级计算中心三期-作业调度系统软件项目需求书一、项目概况上海超级计算中心三期配套工程项目是引进峰值速度为200Tflops的高效能可信计算系统提供满足其运营和应用的机房环境、网络平台、存储系统、商业和半商业软件、主机信息系统、综合布线、系统安全建设、网格服务环境和网格应用平台、主机计算前后处理系统、培训等内容，并继续承担国家863网格主结点建设任务。二、软件技术指标要求所采购作业调度系统，其配置满足如下指标要求：(一) 基本指标（1） 安装要求：可在上海超级计算中心三期200T主机系统全机范围内调度所有计算资源

2、。（2） 高可靠性：具有大规模集群商业系统可靠运营的成功案例，在国内具有可靠运营的大规模集群成功案例（3） 作业运行正确性：在大规模集群的并行作业运行环境中，作业调度和运行正确性达到99.99%以上 （4） 高可扩展性：单一机群具有可管理5000个以上节点、10000个以上CPU的能力；可同时支持1000个以上作业并行运行（5） 良好的可操作性：可支持系统管理员根据实际需求变化，在线动态调整系统配置参数，不影响作业运行和用户使用，同时确保作业运行统计准确性（6） 多集群管理能力：可以同时在同一作业管理系统下管理多个物理或逻辑分割的集群系统，作业可以在不同集群间根据条件自动迁移（7） 统一的系统

3、级管理平台：提供系统监控、计费、作业调度等功能的统一管理平台，可通过web方式管理，并可同时管理多个集群（8） Linux及windows 混合机群的支持：具备统一管理单一机群中的WINDOWS服务器、LINUX服务器以及其它UNIX服务器等混合异构平台的能力（9） 多路多核CPU的调度和支持：支持自定义调度策略，支持应用程序在多路多核CPU上运行的情况，可自动扩展调度策略处理（10） 作业控制能力：可对作业的运行时间、CPU 时间、内存大小、数据区大小、CPU数量、文件大小等进行设置和控制（11） 支持并行文件系统，并可根据并行文件系统的技术架构特点灵活部署：支持如Lustre、PVFS、C

4、XFS、GPFS、PFS等主流并行文件系统。（12） Web Portal开发支持：支持二次开发与用户自行开发，可根据用户需求进行二次开发（13） 基于X Windows的交互式图形支持：提供基于X Windows的交互式作业的提交和管理，且具有实际成熟客户案例（14） 动态服务器（即无须重启服务）：支持服务器对调度规则的手工、自动移出或者加入，而无须重启服务或配置，操作不影响实际业务运行（15） 支持网格计算环境，如863国家网格环境的Globus网格计算平台：支持主流网格计算平台，提供详细技术规范要求。（16） 支持同构、异构机群系统互相提交作业：支持在同一的机群内具有不同的操作系统的机器

5、统一调度。用户可根据情况，从Linux提交作业到windows机器上执行或者相反。（17） 与主机厂商建立良好合作关系；（18） 支持并提供与如下系统软件及商业应用软件的集成接口：仿真分析领域：ANSYS、Start CD/StartNet、FLUENT、Abaqus、LS-DYNA、NASTRAN、ISIGHT、PATRAN、PAM-CRASH、Analysis Manager、MARC、FEKO、HyperWorks、ICEM-CFD、AI*ENVIRONMENT、GEFEP-P、CADEM-P等生命科学领域：SRS、Mascot、QicProp、Macromodel、Impact、Gli

6、de、Pipeline Pilot等石油物探领域：Paradigm、CGG、Omega、FOCUS、ProMAX、Grisys、JASON、Eclipse、VIP。科学计算领域：Amber、Gaussian03、Dock、VASP、NWCHEM、matlab、CPMD、EGO、DOCK、BLAST、WIEN 2000、NAMD、ABINIT、MM5、WRF、ARPS、GRAPES、FDS。电子设计行业：ADS、Verifier、Creative Genius、Explorer、Taurus-Workbench、Hspice、Xcite、SPW、NC-VHDL、Verifault、NC-Veri

7、log、NC-Sim、Analog Artist、Ambit Buildgates、Mercury & MercuryPlus、MMAV(二) 调度策略指标调度系统提供的所有调度策略均可进行一定程度的自由组合，且都可以对某个队列进行单独控制，包括：（1） 先来先服务FCFS：最基本、常用调度策略，可配置成单一的调度策略。（2） 公平调度及份额控制Fair share：对主机资源进行公平竞争。也可对用户资源进行一定的预分配，保证某些资源对特定用户的需求。 （3） 抢占式调度 Preemption：用户按照不同的权限可进行对主机资源的抢占式调度。尤其可采用抢占的计算资源来满足特定需求（工程商业软件

8、）的用户使用。 （4） 独占式调度 Exclusive：需支持（5） 主机公平调度 Host Paration：需支持（6） 资源预约调度Resource Reservation：需支持（7） 高级处理器预约 Advance Reservation：需支持（8） 提供作业控制能力：对作业的运行时间、CPU 时间、内存大小、数据区大小、CPU数量、文件大小等进行控制。(三) 软件许可证管理指标（1） 许可证可预约：应用程序启动前，可预约程序所需的许可证，避免互相冲突。（2） 许可证抢占式调度：高优先级的作业可抢占低优先级作业正在使用的许可证。而低优先级作业将被挂起直到有许可证可用为止。（3） 许

9、可证所有权控制：用户可保留自己的许可证，确保需要时能立即获得所需要的许可证。（4） 使用份额控制：每个用户可使用所分配的许可证份额。(四) 统计报表分析指标作业管理系统可查询所有计算节点和许可证的运行和使用信息，并将所有运行数据收集起来，通过数据库管理，同时充分考虑所有数据的备份与容灾。（1）、统计报表a)提供系统各种资源（CPU、内存、许可证等）的全面使用情况统计报表b)对各种硬件性能（nice值）的统计c) 具有权限管理: 对每种报表，可规定用户权限，只有满足权限的用户才能查看该报表，用户权限支持至少三级：系统管理员、主管领导、用户 （2）、分析报表A、软件许可证分析在商业软件licens

10、e昂贵的前提下，确保调度系统具有软件许可证分析能力，确保使用合理化、最优化，解决许可证的无效占用，获得最大的投资回报。在提供各种分析报表的同时，系统支持分析报表定制。a) 许可证使用分析，包括峰值、平均值、利用率等情况：可按具体Feature统计的许可证统计使用情况，包括平均使用、峰值使用、平均利用率、峰值利用率和有效数目 b) 许可证利用率峰值分析: 可根据许可证利用率峰值排行榜分析。c) 许可证拒绝分析：可根据许可证、服务器、用户统计的许可证拒绝统计分析d) 按具体Feature统计的许可证使用情况e) 按具体Feature统计的各用户、部门使用情况f) 按用户统计的许可证使用情况B、机群

11、工作负载分析a) 基于机群的工作负载分析b) 基于项目的工作负载分析c) 基于用户的工作负载分析d) 基于主机的工作负载分析e) 基于队列的工作负载分析f) 基于资源使用的负载分析g) 用户和项目的作业统计分析(五) 计费系统指标作业调度系统具有以各种指标进行计费，尤其是提供针对软件许可证进行统计计费的功能，同时具有灵活方便的管理账单工具或者平台，可以WEB界面方式进行费率设定、费用查询、账单生成。可根据不同需求设定不同费率；根据的许可证的不同价格设定相应费率，体现出不同的计算资源以及软件的不同进行收费。所有计费数据形成可定制报表，并以电子或纸质方式输出。a) 以用户使用计算资源进行计费b)

12、以CPU时间进行计费c) 以运行时间进行计费d) 以CPU数目进行计费e) 以作业队列进行计费f) 以存储资源进行计费g) 以商业软件许可证资源进行计费(六) web管理平台指标基于WEB技术所提供的易用性，为系统管理员及用户提供可视化的、统一的web管理平台以及访问接口，同时根据要求进行不同的用户授权。（1）、系统管理员远程管理和控制为系统管理员提供主机系统的web远程管理和控制：a) 系统监控：包括整个机群运行状况实时监视以及单个计算节点的实时监视。b) 用户管理：可对用户信息，权限等以及所使用的主机资源进行管理。c) 队列管理：可对队列资源进行管理d) 作业管理：用户作业的在线监视、查询

13、，杀除、监控等e) 节点管理：支持对节点的状态等监测及配置f) 软件管理：支持对软件集成的配置、调整等g) 软件许可证的监视和管理：通过WEB方式实时监视各商业软件许可证的使用情况，包括最大许可证数目和当时实际使用数量，以及使用用户及具体节点。h) 计算资源使用统计分析：i) 软件许可证使用统计分析j) 计费管理：以通过Web界面进行：费率设定、费用查询、 账单生成等k) 用户使用及收费查询：根据不同的主机资源进行查询（2）、用户远程使用基本功能为用户提供高性能计算资源使用基本功能：a) 用户作业的提交和管理：实现Web方式作业的提交和管理b) 用户作业查询、杀除、监控等：提供用户在作业运行中

14、的在线操作c) X Windows交互作业的提交、管理：支持基于X Windows的交互式作业的提交和管理，且具有实际成熟客户采用。d) X Windows的交互式作业许可证调度和管理：包括份额控制、公平调度、许可证所有权调度、优先级控制、强占式调度等e) 用户数据管理f) 用户作业统计与查询：用户可以通过Web界面进行统计与查询(七) 二次开发在主机系统整体安装前后，根据上海超级计算中心实际需求对调度系统的部分模块进行二次开发，并在实际运行中，根据业务需求，配合上海超级计算中心进行开发。1、基本模块的开发与定制 1）在主机采用作业调度软件后可根据实际的需求变化对整个系统的定制调整以及根据安全

15、可定制开发，完善和提高系统架构的健壮性。 2）对提供的管理平台可根据实际需求进行改造、开发定制。 3）根据多核、多CPU、网络通信等硬件结构的特点，对基本功能的优化开发。2、调度策略的开发定制1）自定义调度策略的开发和定制：允许根据用户需求进行定制开发调度策略。同时随着实际业务的运行的需求不断改变提供不同的定制与开发。2）多路多核CPU的调度和支持：可以根据硬件（多核、多CPU、网络通信等）以及应用软件的情况开发专用的、有针对性的调度策略。3、软件集成优化与许可证管理1）定期对主要商业应用软件版本升级提供集成、策略制定和优化开发：可根据商业软件版本的升级，及时对新版本进行集成、优化等工作。2）

16、根据不同软件的特点提供许可证管理监控、调度、统计、计费等，根据需求定制开发。4、统计报表与计费1）统计报表的定制：提供方便的扩展机制，从而可以根据用户需要定制相应的统计报表。2）计费系统开发：包括基于许可证、CPU、存储份额等进行开发，并根据用户实际业务需求开发基于某些计算资源的计费系统。5、web管理平台指标基于WEB技术所提供的易用性，为系统管理员及用户提供可视化的、统一的web管理平台以及访问接口，同时根据要求进行不同的用户授权。1）可根据实际业务特点管理定制web平台，方便使用。包括系统管理、用户管理、系统监控、队列管理、软件管理、许可证的监视和管理等。2）根据用户应用以及业务流程，定

17、制不同行业软件的提交方式。允许根据用户实际需求定制web统计报表。(八) 技术支持指标（1） 提供免费技术支持服务：此期间保证技术支持服务质量，配备专门的技术支持团队，保证技术支持力度和响应速度，具有快速解决问题的能力。（2） 提供调度系统运行主、备服务器、license管理服务器、报表分析计费主、备服务器各一台，并提供相关维保（3） 7x24的电话或者邮件技术支持（4） 现场响应：有紧急救援现场支持服务，对于紧急情况可以在2小时内到达现场处置。（5） 驻场服务：在系统部署、试运行阶段，对产品调试、模块开发提供至少1个月的专业工程师驻场服务。（6） 专职维护工程师：为本项目设立专职维护工程师，

18、专门负责超算中心的技术支持和维护事项，以便更好了解中心实际业务需求，有利于快速分析、解决问题。（7） 由专职工程师提供每半年一次定期全系统检查及服务（8） 免费技术服务过期后，每年后续服务总费用不超过系统总价的10%；（9） 提供5年质保期。(九) 公司能力 A、投标商要求（1） 本地技术支持团队：在国内具有1020人以上本地技术支持团队，包括一线技术支持、二线技术支持（源程序级问题调查）和软件维护团队（提供源程序级的问题解决方案）（2） 本地解决方案团队：在国内具有1020人以上本地解决方案团队，包括方案架构师、开发人员和测试人员B、原厂商要求（1）研发队伍：在国内具有1020人以上专注该产品的研发团队，承担该软件所有产品线的开发工作（2）国内客户：有国内高性能需求各个行业的实际案例，基本为该行业的龙头企业和知名单位（3）国外客户：在全球高性能计算领域（最新TOP500排名中）具有相当的市场占有率(十) 培训（1） 系统安装前后各提供一次原厂专业技术培训，合计不少于60人天；（2） 自系统安装完成，每年免费提供20人天的培训。第 6 页 共 6 页