《大数据驱动的威胁情报技术优化及验证》由会员分享，可在线阅读，更多相关《大数据驱动的威胁情报技术优化及验证（16页珍藏版）》请在装配图网上搜索。
1、运营商大数据驱动的威胁情报技术优化及验证 -开发需求说明书中国电信上海研究院2018 年 1 月修订记录目录1引言 4.1.1 编写目的 4.1.2 项目背景 4.1.3 缩略语 4.2平台概述 4.2.1 平台描述 4.2.2 平台功能 5.2.3 开发环境 5.2.4 一般约束 6.3 架构及技术要求 6.3.1 平台架构及系统流程技术要求 6.3.2 数据采集层技术要求 7.3.2.1 数据采集层技术要求 7.3.2.1.1 数 据采集接口技术要求 7.3.2.2 采集数据类型及格式要求 7.3.3 数据存储层技术要求 8.3.4 数据计算分析技术要求 8.3.4.1 分布式计算能力 8
2、.3.4.2 深度学习能力 9.3.4.3 快速检索查询能力 9.3.5 数据呈现层技术要求 9.4 僵尸网络检测模块功能需求 9.5 WEB 入侵攻击状态检测模块功能需求 1.06 URL 欺诈检测模块功能需求 1.17 系统管理 1.2.7.1 用户权限管理 1.27.2 用户登录 1.2.8 检测模型管理 1.2.9 知识库管理 1.2.1引言1.1编写目的本文档用于阐明运营商大数据驱动的威胁情报技术优化及验证项目的体系架 构、总体设计方案、功能需求以及本平台开发目标，开发环境等。该需求说明书的读者为运营商大数据驱动的威胁情报技术优化及验证项目的 设计与开发人员。1.2项目背景网络安全态
3、势日趋复杂，新型攻击手段层出不穷，电信海量数据中存在的威 胁不断增加，威胁情报检测平台也应朝着细粒度、完整性、准确性方向发展。 16 年开发的运营商大数据驱动的威胁情报原型系统已具备对僵尸网络、钓鱼网站、 SQL 注入等威胁情报检测能力，但是检测威胁类型较少，且由于数据源类型较少 对威胁情报的检测仍存在覆盖面不广、深入性不足、准确性不高等问题。本项目在去年院长基金项目所形成的原系统基础上，接入更多的电信管道数 据，运用数据分析、深度学习算法等建立模型，挖掘出更丰富、更全面威胁情 报，建立更加健壮的威胁检测平台，强化威胁感知，提升信息安全。1.3缩略语XSS 跨站脚本攻击HDFS Hadoop
4、Distributed File System2平台概述2.1平台描述运营商大数据驱动的威胁情报技术优化及验证平台实现海量信息的采集、预 处理、存储、安全分析、呈现等能力，通过从网络侧部署的DPI设备中采集DPI 数据等信息，基于Hadoop平台的分布式存储与计算框架，进行建模分析僵尸网 络、Web攻击等安全事件及数据间关联关系，实现对网络安全状况的深度感知，为网络运营管理提供可视化的安全分析工具。2.2 平台功能平台将主要包括如下功能： 运营商大数据驱动的威胁情报技术优化及验证平 台实现海量信息的采集、 预处理、存储、安全分析、呈现等能力，通过从网 络侧部署的 DPI 设备中 采集 DPI
5、数据等信息， 基于 Hadoop 平台的分布 式存储与计算框架， 进行建 模分析僵尸网络、 Web 攻击、 Url 欺诈等安 全事件及数据间关联关系，实现 对网络安全状况的深度感知， 为网络运营 管理提供可视化的安全分析工具。 平台包括的主要功能概述如下： 僵尸网络检测：基于 DPI 数据进行特征提取、建模分析，实现 CC 控制 端、恶意 URL 的检测、统计分析和展示等功能。 Web 入侵攻击状态检测：通过对 DPI 数据等数据的深入挖掘，提供 SQL 注入攻击、xss跨站脚本攻击等Web入侵攻击的分析、统计、展示等功 能。 Url 欺诈检测：略通过对 DPI 数据等的分析检测、提供对各种
6、Url 欺诈（包 括钓鱼网站等）的检测、统计、展示等功能。 系统管理：提供用户登录界面，根据用户角色的不同，为用户呈现不同 的 可视化用户界面。 检测模型管理：导入新的训练数据和测试数据，改变模型的参数后，重 新 生成新的检测模型。 知识库管理： 增/删/查 sQL 注入攻击样本， 手动/自动爬取 sQL 注入攻 击 样本。2.3开发环境软件环境：开发平台语言Eclipse开发平台Python语言操作系统Linux计算平台Hadoop （包含 HDFS/MapReduce）深度学习框架TensorFlowWeb服务器Tomcat数据库MySQL浏览器IE/Firefox/Chrome等常见的浏
7、览器2.4般约束在系统设计时主要应考虑与其它系统在数据上的兼容性、安全性、可靠性 等， 并需体现某些先进的管理理念。3架构及技术要求3. 1平台架构及系统流程技术要求威胁情报技术优化与验证平台采用分层架构，自下而上分为数据采集层、数据存储层、数据计算分析层、数据呈现层，具体架构如下图所示：数据计算分析Web安全状态分析模块僵尸网络分析.模块SQL注入XSS攻击|cy；制胡分析分析分析URL欺诈分析模块钓鱼网站十进制IP欺 特殊标志欺骗分析骗分析分析数据存储MySQL数据；1eg控制端统计URL欺诈统分析结果数据Web应用层安全脱敏标准化数据预处理数据采集接口过滤FTP对象采集数据DPI数据据D
8、PI （ IDC 出Web系统安全态势视图僵尸网络分析视图URL欺诈态势视图SQL注入XSS攻击钓鱼网站十进制IP欺骗特殊标志欺骗口）MlWMl- 平台逻辑架构层现据图 3-1 威胁情报技术优化与验证平台系统逻辑架构其中数据采集层通过数据采集接口实现信息采集，并对采集的数据进行过滤、脱敏、标准化等预处理，数据采集来源包括DPI设备，数据采集对象包括DPI数据等信息。I 口心、O数据存储层利用分布式文件系统HDFS，实现对采集到的原始DPI数据等海量安 全基础信息的长期存储； 同时根据不同检测需要的字段不同， 将其分别存储 到服务 器中； 并基于关系型数据库， 实现对采集到的攻击统计等结果数据，
9、 进行 存储管 理。数据计算分析层基于 Mapreduce 等计算平台， 通过对分布式存储数据的特征 提 取、深度学习分析等安全事件挖掘能力，实现 Web 安全状况分析、僵尸网络 分析、 URL 欺诈分析等功能， 及时发现大网及客户网络的异常及非法网络行为。数据呈现层基于大数据分析技术和数据可视化技术，为运维人员提供 Web 安全状 况等可视化视图。3.2数据采集层技术要求3.2.1 数据采集层技术要求3.2.1.1 数据采集接口技术要求 数据采集层支持从 FTP 服务器下载数据文件，并对数据进行预处理后将处 理后的 数据及元数据分别存储到数据存储层。3.2.2 采集数据类型及格式要求采集数据
10、包括 DPI 数据：3.3数据存储层技术要求数据存储是大数据安全分析平台的基础， 主要用于对海量 DPI 等数据进行存储 针 对数据存储模块，应满足以下要求：具备结构化、非结构化海量数据的存储能力；应支持分布式架构及高可用保证，确保数据存储不出现单点故障。数据类型存储方式备注DPI数据HDFS格式数据量非常大，采用数据库系统很难满足数 据查询和检索要求，可采用HDFS格式。预处理后的数 据文件便于第三方获取3.4 数据计算分析技术要求 大数据安全分析平台的计算分析层应提供分布式 计算、 流式计算等计算平台， 以及机器学习能力、复杂事件分析能力、并行分析能力 以及客户报表分析能力。3.4.1 分
11、布式计算能力 能够根据定制的分析算法对存储在文件中 的数据进行分布式计算与检索， 应 提供 Mapreduce 等分布式计算平台。3.4.2 深度学习能力应提供适用的深度学习算法，可基于 TensorFlow 等框架进行开发。3.4.3 快速检索查询能力应提供基于威胁情报各个字段的快速查询与综合检索能力。3.5数据呈现层技术要求运营商大数据驱动的威胁情报技术优化及验证平台是各类威胁情报的集中 呈现界 面，应具备以下功能：应实现权限管理，可根据登录人员的权限分别显示不同的界面。 应提供威 胁情报的列表显示功能，并可根据威胁种类、源 IP 、目的 IP 、 URL 和 UTC 时间等等统计各威胁发
12、生次数。4 僵尸网络检测模块功能需求僵尸网络检测模块主要从 DPI 数据中获取网络异常流量 / 行为，通过深度学 习 算法，检测出僵尸网络，并进行统计分析和可视化展示。 该功能模块输出的僵尸网络等信息以关系型数据库方式存储。 僵尸网络列表 应包含 以下字段信息（部分字段内容可以为空）：肉鸡IP肉鸡地址归属地CC控制端IP及端口 CC控制端地址归属地发生时间 威胁类型等。需求编号功能点功能扌苗述1僵尸网络检测功能提供僵尸网络主动发现功能，分析挖掘僵 尸网络信息，满足以下要求：1）对DPI数据进行关键信息提取，并使 用深度学习算法，检测出僵尸网络；2）支持使用关联分析等算法，从DPI数 据中提取C
13、C控制端肉鸡/疑似肉鸡 等相关信息；3）使用列表进行显示。2僵尸网络查询及统 计功能支持僵尸网络的查询及统计功能：根据威 胁种类，查询僵尸网络信息及个数； 根据指定的CC控制端IP地址或肉鸡 IP地址，查询地址匹配的僵尸网络信 息及个数。5 Web入侵攻击状态检测模块功能需求Web入侵攻击分析功能依托的数据源来自IDC机房流量DPI数据，通过对数据进行 元数据提取、使用合适的深度学习算法进行分析等，识别SQL注入攻击 XSS跨站 脚本攻击等 Web 入侵攻击事件。需求编号功能点功能扌苗述1Web入侵检测功台匕冃匕1）支持如下SQL注入攻击的分析识别： 数字型；字符型；搜索型；盲注；支持主流的数
14、据库类型：Oracle、DB2、MySQL MS SQL Serve 等r ；2）支持如下XSS攻击的分析识别：Stored Server XSSReflected Server XSSStored Client XSSReflected Client XSS 3）将分析结 果存储到关系型数据库中，具体 包括： 攻击源；攻击目标；攻击类型；攻击时间;6 URL欺诈检测模块功能需求URL。2Web入侵查询及 统计功能支持Web入侵的查询及统计功能：根据 威胁种类，查询Web入侵信息及个 数；根据指定的源IP地址目的IP地 址 URL或UTC时间等查询匹配的 Web入侵信息及个数。URL欺诈检测模
15、块依托的数据源来自IDC机房流量DPI数据，通过对数据进行 元数据提取、使用合适的深度学习算法进行分析等，识别钓鱼网站等URL欺诈事件。7系统管理7.1用户权限管理用户权限管理提供对平台的管理的功能。 用户分为超级管理员和操作员两个 角 色：超级管理员角色拥有所有权限；操作员角色仅具有查看威胁信息的权限。7.2 用户登录平台需要为用户提供登录界面， 用户通过该界面登录系统。 登录界面需要在 用 户账号密码验证后，根据用户所属角色为用户呈现不同页面。检测模型管理支持僵尸网络检测模型、 Web 入侵检测模型、 Url 欺诈检测模型的训练 /测试 用数据的更新和重新训练。9 知识库管理支持僵尸网络检测、 Web 入侵检测、 Url 欺诈检测样本库的手动 /自动爬取以 及单条样本的增删改。
大数据驱动的威胁情报技术优化及验证
