湖北移动_旅游客源分析平台技术方案_20140225

《湖北移动_旅游客源分析平台技术方案_20140225》由会员分享，可在线阅读，更多相关《湖北移动_旅游客源分析平台技术方案_20140225（37页珍藏版）》请在装配图网上搜索。

1、.旅游客源客情分析平台方案建议书中国移动通信集团XX20XX2月目 录1. 概述41.1 项目背景41.2 平台概述42. 平台建设特点与原则42.1 方案思路42.2 分析范围52.3 方案特点63. 平台整体架构73.1 建设原理73.2 平台总体架构9 平台总体结构9 平台技术架构114. 平台安全方案134.1 安全方案原则134.2 安全方案设计13 物理安全14 网络安全14 系统安全17 应用安全18 数据安全195. 平台网络拓扑216. 平台关键流程226.1 平台业务主流程226.2 信令分析处理流程237. 平台功能模块247.1 业务分析子系统24 景区综合流量统计分析

2、24 景区游客来源地构成分析26 景区全网总游客实时估算29 景区流量预判模型分析29 景区流量上限告警31 旅游景点热度排名分析327.2 页面展现子系统34 菜单功能列表34 界面辅助功能介绍35 运营部门应用Portal367.3 管理子系统36 用户管理37 权限管理37 实时监控37 日志管理37 基站位置信息管理37 系统参数配置管理377.4 内容数据库子系统388. 平台外部接口388.1 信令采集接口38 数据采集模式38 信令数据内容39 数据转换和校验408.2 基站位置信息接口42 数据同步模式42 基站位置信息全量同步接口42 基站位置信息增量同步接口44 数据转换规

3、则458.3 景区查询接口46 接口方式46 查询接口46.1. 概述1.1 项目背景XX省作为全国旅游资源较为丰富的地区之一,拥有许多得天独厚的旅游业发展优势。中国移动XX公司不仅拥有丰富的移动网络信令数据资源和庞大客户群的优势,通过与各旅游景点管理部门及商业机构的合作,有助于创造更多的商业机会,同时能够提高中国移动XX公司的服务价值,产生巨大的社会效益和经济效益。1.2 平台概述旅游客源分析平台针对游客客源特征,将建设一套统一的行业应用平台,平台将周期性地从信令监控系统中获取信令数据并进行预处理,利用移动通信基站与景区空间场所对应关系,建立移动信息与实体世界关联,在此基础上,通过智能建模从

4、统计上精确的把握用户与旅游资源的时空关联,进一步进行各种方式的信息整合和发布。2. 平台建设特点与原则2.1 方案思路移动运营商侧拥有丰富的网络信令数据,用户在每一个业务应用和操作时,包括语音通话、收发短信等业务时,都会在网络侧记录用户相关的基站位置信息,除此之外还有用户的主动位置更新更新LAI和定期的位置更新一般为2小时以内,也会记录用户的位置信息,通过这些信令数据上下文,我们可以通过基站描点勾勒出用户的活动轨迹。在利用运营商在旅游景区的基站信息同景区进行有效的结合,可以实时分析各景区的移动本网当前用户人数及本网当前旅游到达总数。l 通过对用户进一步分析其来源的等相关情况；l 通过对用户进一

5、步分析驻留情况；l 通过分析各个旅游景区的人流密度等相关情况；有了这部分本网旅游用户的数据就可以进一步分析有个旅游用户相关如来源地等,以及景区相关的如景区热度排名等相关数据,同时可以通过全省进一步归纳热点旅游线路等,下面章节会详细的介绍。统计出移动本网用户数据后,可以根据移动用户占比情况即比例系数反推旅游景区的用户总数,占比情况如下图,中移动占比在72%。2.2 分析范围l 分析人群构成,住户、工作人群、办事人群、路过人群及真正的游客；l 通过到达频次特征可以准确的区分住户和工作群体,即白名单,而且时间周期越久越完整和准确；l 通过科学的算法分析景区重点基站小区列表,及游客的典型轨迹特征；l

6、通过轨迹特征比对分析技术判断过路用户群体,包括驻留时长以及信息次数特征综合分析；l 通过综合分析,包括基站优选技术及轨迹特征辨别技术分析办事群特；由于各个景区所处的位置有所不同,有的景区处于市区,同周边商业区及住户、路过人员有很多重叠,所以需要区分非游客分析十分必要,而且非常有难度,所以考虑扩大数据采集范围,增强白名单用户的积累过程。2.3 方案特点对于旅游客源分析应用平台最主要的核心能力就是,如何实时分析景区的旅游用户到达数量,以及旅游用户的来源的构成情况等信息,提供对各个旅游景区的管控能力。方案主要通过对旅游消费者的网络行为分析,进一步实现旅游信息化,且具有以下明显特点l 方案适用于中国移

7、动用户本地和漫游用户,具有广泛的覆盖性。对本地旅游用户中国移动可以运用完整的静态数据和长周期的历史数据。对漫游用户则可以基于基本的静态信息和对大量用户旅游周期的统计特征来描绘。l 充分利用了移动网络特有数据提供行业信息化支撑。l 既提供了覆盖广度,又弥补了应用层电子商务类服务的覆盖面有限,对用户感知方面的缺陷,补充了重要的移动网络数据来源和移动,实时的服务。l 对网络侧动态用户行为进行分析是移动网内一种新的数据源分析方法,将用户的活动轨迹与用户使用的业务甚至业务的内容相结合更是提供了丰富的数据来源,使得分析结果更具准确性与时效性。l 系统分析结果能实现对于特定用户群具备某种网络行为特征的标签在

8、特定的时间数据分析得出的最佳的业务营销时机进行特定的管控,服务和营销。扩大效果,降低成本/副作用,提高效率。l 另外,随着目前本方案的实施,通过有针对性的线上线下管理,服务和营销的整合,预期通用应用类业务WAP/WEB浏览/搜索等将出现使用的增加,因此,今后基于目的地相关WAP/WEB浏览/搜索内容分析将进一步成为一个重要的数据来源。3. 平台整体架构3.1 建设原理本平台是通过分析移动通讯过程中的各种信令过程,获得用户当前的位置信息。当用户的位置信息与业务选择发送的特定区域一致时,统计该用户是否为旅游游客。为获得准确、全面的用户信息当前位置信息和用户手机号,需要监控业务特定区域所属的MSC/

9、VLR到周边的所有信令链路即下面的拓扑图中双向箭头所对应的物理链路。本项目使用的信令数据由信令监测系统定时提供。移动通信网络部分拓扑图如下所示：BSCBTSBSCMSC/VLRHLR其它MSC/VLRLSTPBTS：基站 BSC：基站控制器MSC/VLR：移动业务交换中心/访问位置寄存器HLR：用户归属位置寄存器LSTP：低级信令转接点移动通信网络部分拓扑图3.2 平台总体架构3.2.1 平台总体结构系统架构图旅游客源分析应用平台采用信令数据采集接入、数据分析整合、页面展示三层架构的方式实现。信令数据采集接入层主要获取信令数据,并对数据进行预处理。本层与中兴信令监测平台接口。数据处理层采用专用

10、数据统计算法和数据发掘分析技术,根据实时采集到的信令接口数据,及定期更新的基站、小区、场所及号码段数据,综合分析各个视角的数据,包括统计区域实时流量数据、流量总量数据、流量密度数据、流量驻留数据、景点流量告警等。页面展现层具备将各种统计分析结果进行图表化、图形化的展示,并可以多种格式导出。同时通过界面建立同接触渠道的接口,包括短彩信、12580接口,可以通过接口推送给商家及用户相关的实时信息。l 数据分析后台能力利用网络侧数据,通过综合分析能力手段,结合相关位置的CGI数据,及景区场所数据及时间段等丰富特征、综合分析各景区旅游游客及游客的轨迹特征,分析白名单游客列表所谓白名单即景区周边的工作人

11、员、住户等经常出现人群,这部分白名单用户统计时间越久越准确,这部分为非游客用户,进而分析游客的来源构成情况等综合特征。系统通过实时反馈景区的游客流量信息,改变景区只有事后统计门票数量等情况的能力。可实现各景区的游客分析,并主要从下面几个角度进行分析： 景区实时流量分析包括景区在园游客数及入园游客总数分析 景区全网总游客实时推算； 景区游客来源地构成分析分析到省/地市； 各个省市游客热度排名分析； 景区流量上限告警； 景区流量预判模型分析；l Web前台能力在数据分析能力基础上,为系统展示和应用开发相应的Web前台,将此Web前台放置到公网环境,旅游局相关工作人员可以通过Internet直接IE

12、访问本系统,进行系统相关分析数据的查看和下载,功能体现： 景区/用户数：实时及跨日期方式分别查看景区的实时在园游客数及入园游客总数及全网总游客推算数据； 归属省/用户数：实时及跨日期方式分别查看景区的实时入园游客归属省、实时在园游客归属省、全网归属省总游客推算数据数、归属省游客占比数； 归属省-地市/用户数：实时及跨日期方式分别查看景区的实时入园游客归属省、实时在园游客归属省、全网归属省总游客推算数据数、归属省游客占比数； 景区人数预报：通过景区流量预判模型分析景区未来3天的游客数量； 旅游景区热度排名：实现按省总人数排名,按省-地市总人数排名两个功能,展示TOP10省及地市的排名情况； 景区

13、流量上限告警：实现总用户实时估算值告警流量实时统计告警两个功能,分别实现景区入园用户总数告警及当前在园游客数告警能力； 旅游景区游客密度分析：实现景点用户人数展示能力,展示各个景区当前重要景点的游客数情况。景点可以根据需要进行调整。 数据查看：包括省信息查看、市信息查看、号码归属地、景区信息查看及景点信息查看功能,将主要的相关配置信息进行系统展示； 安全管理：包括用户管理、角色管理及权限管理功能,控制和管理系统的权限。 辅助能力：包括系统导出、系统打印等功能支持。3.2.2 平台技术架构总体技术架构设计定义了旅游客源分析的整体技术单元构成、及各个技术单元之间的关系。总体技术架构如下图所示：技术

14、架构图l 业务应用服务组件业务应用服务组件由负责具体业务的业务组件完成,业务组件相对独立,组件间通过标准接口进行通信,以实现组件间的业务协作,从而降低了业务组件间的耦合度。某些服务共用同样的业务逻辑,可将公用组件抽取出来,为各业务逻辑提供服务,保证组件的重用性。业务应用服务组件包括门户应用类服务组件、在建以及新建系统提供的业务应用类服务组件。业务应用类服务组件有应用系统开发商根据服务要求提供。l 应用支撑服务组件应用支撑服务组件以统一的支撑环境、规范软件接口标准、显著提高平台的可重用性和各系统间的互连互通性。 统计分析服务统计分析服务提供报表定制的功能,是用户能够灵活设定报表的格式和各种填报指

15、标。 ETL服务ETL是数据抽取、清洗、转换、装载的过程,同时提供数据质量的管理、数据转换与清洗、调度监控,并且贯穿整个数据中心解决方案的全过程。ETL是构建数据中心的关键环节,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据中心转化的过程。 展现服务实现用户使用的操作界面,它使用共享的数据和业务服务实现与后端企业资源的交互,将业务人员与共享服务连接在一起,并提供统一的、个性化、多渠道的访问入口。l 全服务生命周期管理所有服务被纳入到了全生命周期开发与管理服务和统一安全支撑服务的管理范围内,以保证一致性的平台管理。4. 平台安全方案4.1 安全方案原则根据国家和集团对信息化

16、安全的总体要求,参照信息安全等级保护二级,本项目各部分需结合实际需要,满足以下安全原则：1) 技术方面 物理安全主要包括物理位置的选择、物理访问控制、防盗窃和防破坏、防雷击、防火、防水和防潮、防静电、温湿度控制、电力供应、电磁防护等要求。 网络安全主要包括结构安全、访问控制、安全审计、边界完整性检查、入侵防范、网络设备防护等要求。 主机安全主要包括身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范等内容. 应用安全主要包括身份鉴别、访问控制、安全审计、通信完整性、通信保密性、软件容错、资源控制等内容。2) 管理方面主要包括安全管理制度、安全管理机构、人员安全管理、系统建设管理、系统运维管理等

17、内容。4.2 安全方案设计旅游客源分析平台的信息化建设必须保证应用、网络及信息的安全性,这是信息系统建设的关键。对于信息系统安全体系的设计,必须将安全系统视为一个整体,在统一的框架下整体考虑每一部分和每一环节的安全性要求,首先保证网络的安全,在此基础上保证应用系统和业务的有效性、保密性、完整性,同时还要全面考虑系统运行管理等对于安全保密性提出的要求。在满足现有的安全目标基础上,为将来的应用提供可扩展的安全空间。信息系统的安全是一项复杂的系统工程,涉及到技术、产品和管理等多个层面。安全的防范是通过安全技术、安全产品集成及安全管理来实现的。一个优秀的信息安全解决方案应该能够提供完整的产品集成、人性

18、化的安全管理。旅游客源分析平台整体安全保障体系涉及物理安全、网络安全、系统安全、应用安全、信息安全、管理安全等各个方面。4.2.1 物理安全在旅游客源分析平台中,物理层安全面临的风险主要是环境安全和设备安全问题。为保护计算机设备、设施含网络以及其它媒体免遭地震、水灾、火灾、有害气体和其它环境事故如电磁污染等破坏,应采取适当的保护措施。针对这一风险,可以采取的安全措施有：保证系统所处环境机房,满足相应的国家标准。要施行严格的保安制度,配备好防火、防盗报警等设备,配备专门的安全管理人员。建立严格的机房出入制度,防止非授权人员对重要设备的物理接触等；对重要的网络设备采用UPS不间断稳压电源,对重要的

19、设备如数据库服务器、中心交换机、路由器等采用双机热备份；对重要的通讯线路采用备份；对信息数据采用适当的数据备份系统和灾难恢复机制；为防止电磁辐射,采用一定的屏蔽技术和干扰技术。4.2.2 网络安全旅游客源分析平台需要接入移动互联网络、互联网,如果没有任何安全机制,各级节点的非法或恶意连接可以没有任何约束的进入其它节点的内部网,进行窃听,或者直接发起攻击,损失可用带宽,造成网络阻塞、甚至瘫痪。各个网络之间都存在着不同程度的信息交换,为保证各种访问的不可旁路性、可控性、可认证性,需要部署安全产品和实施有效的安全策略。1) IRF2虚拟化技术应用虚拟化的出现很好地解决了网络架构复杂、配置管理不便等问

20、题；在本次项目中我们将采用IRF2技术,在2台核心设备上采用跨设备链路聚合虚拟化技术,从对提升网络整体效率和安全的角度,起到了一种横向整合的作用,即在不改变网络物理拓扑连接结构条件下,将网络同一层的多台设备横向整合,从逻辑上简化了网络架构,大大提高了网络整体的可靠性、安全性。由于整合后的虚拟化系统具备跨设备链路聚合功能,因此,不同网络层之间的电缆互联也可通过逻辑整合,多条链路被捆绑成一条聚合的逻辑链路,如下图所示。以上提供的虚拟化技术构成的网络架构与传统的三层网络设计相比,提供了多项显著优势： 运营管理简化。全局网络虚拟化能够提高运营效率,虚拟化的每一层交换机组被逻辑化为单管理点,包括配置文件

21、和单一网关IP地址,无需VRRP。 整体无环设计。跨设备的链路聚合创建了简单的无环路拓扑结构,不再依靠生成树协议STP。虚拟交换组内部经由多个万兆互联,在总体设计方面提供了灵活的部署能力。 进一步提高可靠性。虚拟化能够优化不间断通信,在一个虚拟交换机成员链路故障时,不再需要进行L2/L3重收敛,能快速实现确定性虚拟交换机的恢复。 跨设备链路聚合提升上联带宽,消除性能瓶颈,为无阻塞部署千兆到桌面提供条件。 节省总体投入成本；2) 隔离和访问控制网段划分、网络结构的合理优化：在内部局域网可以通过交换机划分VLAN功能解决局域网络的安全问题,实现不同部门、不同级别用户之间的访问控制。由于局域网是广播

22、型网络,因此,若在广播域中进行监听,就可以对信息包进行分析,那么本广播域的信息传递都会暴露无遗。划分网段,其本质就是限制广播域,将非法用户与网络资源相互隔离,从而达到限制用户非法访问的目的。网络隔离和访问控制：在各级节点互联处采用防火墙,用于在不同安全区域的网络之间进行安全隔离和访问控制,以形成不同安全级别的防护。3) 内部网络设备的安全加固旅游客源分析平台网络中采用路由器/交换机,作为骨干交换设备,往往也是攻击者发起攻击的对象,一旦路由器/交换机被攻击,整个网络面临瘫痪的严重后果。路由器/交换机依赖的是固有的网络操作系统比如IOSCISCO的网络操作系统,交换机的安全性主要从管理终端口令、系

23、统漏洞和SNMP的COMMUNITY值问题等几方面来解决： 到厂商站点查找交换机的最新系统版本,及时升级； 加强管理口令强度至少6为以上有数字和字母,并且口令要求使用md5加密存储； 加强snmp网管的private和public的community值的强度； 对vty终端和snmp的连接进行安全访问控制,制定访问控制列表,仅允许网管主机的连接访问。4) 实时安全检测和审计只要有网络存在,就有攻击和入侵发生。为了监控来自内网的各种攻击入侵行为,建议在旅游客源分析平台网络的关键节点配置入侵检测系统,建立全网监控体系。利用实时入侵检测技术,结合主动分析和被动检测,有效阻止网络攻击、入侵,及时报警、

24、阻断,并实现强大的日志审计分析。入侵检测系统监控所有用户的行为,对所有的访问跟踪、并形成消息的日志。入侵监测系统就像网络摄像机一样,监视着网络上的一举一动。使得管理者对主要的现象和隐患苗头是可视的、可分析的、可寻源的。4.2.3 系统安全系统级的安全防护主要包括网络采用的操作系统、数据库系统、网络设备操作系统以及各类应用软件系统等。操作系统主要包括服务端操作系统和客户端操作系统。服务器端的操作系统通常包括：Unix系统、Linux系统、Windows NT/Server；客户端操作系统通常包括： Windows NT/XP/7等。1) 主机加固操作系统安全也称主机安全,由于现代操作系统的代码庞

25、大,从而不同程度上都存在一些安全漏洞。一些广泛应用的操作系统,如Unix、Windows等,其安全漏洞更是广为流传。另一方面,系统管理员或使用人员对复杂的操作系统和其自身的安全机制了解不够,配置不当也会造成的安全隐患。针对操作系统的各种漏洞,通常要进行利用专业的扫描评估软件、专业安全评估和主机加固安全服务。必须定期进行相应的安全维护,从系统本身来保证安全： 及时安装操作系统和服务器软件的最新版本和修补程序。保持使用的版本是最新的可以使安全的威胁最小； 进行必要的安全配置,在系统配置中关闭缺省的、存在安全隐患的、不需要的服务； 加强登录过程的身份认证,采用双因子认证体系,设置复杂、不易猜测的登录

26、口令,严密保护帐号口令并经常变更,删除系统缺省设置的、以及其它原因设置的不必要帐号； 严格限制系统中关键文件如UNIX下的/.rhost、etc/host、passwd、shadow、group等的使用许可权限； 制定严格的操作细则,控制登录访问者的操作权限,将其完成的操作限制在最小的范围内； 充分利用系统本身的日志功能,对用户的所有访问作记录,定期检查系统安全日志和系统状态。2) 加强访问控制在重要的服务器系统上安装访问控制软件,通过制定相应的访问控制策略,为操作系统提供增强的安全防护,加强对关键服务器的安全控制,提供更完善的访问控制和安全审计。4.2.4 应用安全应用层的访问包括办公业务、

27、常用的基于Internet的访问WWW、邮件、文件传输等等,基于应用层的安全措施,主要是对各种应用层的访问提供一种可审计、可控制的安全策略。1) 安全审计安全审计是网络安全建设的一项重要内容,安全审计可以详细地记录通过网络所进行的各种访问行为,包括：更改安全产品的配置、读取或更改服务器上的数据、两个不同子网之间的数据交互等等。安全审计为系统管理员提供详细的日志,能够支持系统管理员审计各种访问记录,对访问信息进行内容恢复和会话回放等,发现非法使用计算机环境中资源的活动。因此对于所选购的任何一种安全产品来说,都要必须具备严格、完善的日志审计机制。2) 内容过滤目前通过邮件、WEB页面针对应用层的攻

28、击越来越频繁,在提供安全审计的机制上,应该以安全审计的结果来进行响应的内容过滤控制,以阻断应用层的非法访问、恶意破坏和攻击。内容过滤机制可集成在具有访问控制功能的安全设备中,例如防火墙。因此可以通过在防火墙进行相应的配置来实现完整的应用层内容控制。3) 管理安全网络系统的安全性不仅与产品技术有关,还与安全管理和使用有着极为密切的关系。在安全管理上,至少要做到： 加强基础设施和运行环境建设计算机机房、配电室等重要基础设施应严格管理,配备防盗、防火、防水等设备；安装电视监控系统、监控报警等装置；计算机设备采用UPS不间断电源供电；设备要可靠接地；供电、通信线路要布线整齐、规范、连接牢靠；机房环境要

29、干净、整洁,保持特定的温度和湿度。 加强设备管理和使用工作建立包括设备购置管理、设备使用管理、设备维修管理和设备仓储管理等内容的规章制度。计算机管理部门要定期对设备运行环境、设备运行状况、各项规章制度、操作规程的执行情况进行检查,对发现的问题及时解决,确保计算机系统的安全、可靠运行。 建立健全安全管理内控制度建立计算机系统使用管理规定、部门主管和业务操作人员计算机密码管理规定、违反计算机管理规章制度处理办法等内控管理制度；严格实行运行、维护、开发分离的岗位责任制；禁止混岗和代岗,禁止公用和公开密码；对重要数据的改账处理要经过授权由专人负责,并登记日志；建立健全备份制度,核心程序及数据结构要严格

30、保密,实行专人分工保管；对已制定的规章制度,要专人负责,真正落实,从根本上杜绝内部安全隐患。 加强员工思想和安全意识教育一方面对员工要进行经常的思想道德水平和法制观念教育,培养他们自觉抵制各种诱惑的能力,使他们不违法、不犯罪；另一方面要提高员工的安全防范意识和能力,不给犯罪分子以可乘之机。4.2.5 数据安全数据是系统中的核心内容,因此对数据的保护也是管理方案中必须考虑的问题。对数据的保护一般可以从两个角度去考虑,一个是传统的数据备份,这是对数据进行保护的一种最有效的方式,另一个是数据的安全管理,数据的备份解决保证了数据不会因为意外事件而丢失,数据的安全则要保证数据不被非法的访问或修改,甚至是

31、受病毒的感染。数据的安全性可以从以下的几个角度得到保证：1) 访问控制,主要是保护对系统中关键业务主机上的资源的访问；身份认证也是信息鉴别的一种手段,它可以确认用户身份的真实性和可靠性。目前有3种方式的身份认证：静态的用户名和口令,它的安全级别最低；双因子身份认证,它采用动态的一次性口令,提高了安全性；基于PKI建立的CA认证系统实现的加密数字签名是最为安全的身份认证。2) 入侵检测,从网络层次上对系统进行安全保护,自动阻断对系统的攻击或对系统子网的非法使用；3) 风险评估,对系统中的关键系统和数据库进行安全评估和漏洞扫描,主要包括数据完整性、数据保密性、备份和恢复等内容；本方案中设计的数据安

32、全方案基于最小权限原则：系统必须存在细粒度的安全控制,安全的授权只能基于这些粒度上进行,如数据行级安全、列级安全。授予每一个用户所需要的最小权限,比如一个区域用户只能够看到本地区的数据,而不能看到所有地区的数据,一个系统管理员只能够管理系统的启动,停止,备份,恢复,而不能够查看敏感数据,这些都是基于最小权限原则。4) 数据传输安全,通过在数据传输上提供端到端的安全解决方案来解决传输上的安全问题。从浏览器到应用服务器之间数据传输的安全性,通过支持SSL或数字证书的方式来保障。提供三方面的服务：认证用户和服务器。加密数据,使被传送的数据隐藏。维护数据的完整性,确保数据在传输过程中不被改变。加密功能

33、将所有的明码文本数据转化为密码文本。一旦被加密,密码文本将以密码的方式在网络中传递,在这种方式中,如果没有正确的钥匙键就几乎不可能把密码文本转换回相应的纯文本。这些加密服务可以防止那些能够访问你的网络的人偷窥你的数据。5) 数据加密管理,传统的数据加密方式对于敏感的数据列进行加密处理来防止敏感数据外泄,但是同时也带来一个很大的问题,即在加密列上建立的索引将没有任何用处,这样对于SQL语句的处理将带来很大的处理上的麻烦,通过使用透明数据加密技术,除非拥有密匙,一般用户无法看到敏感数据,但是数据库的处理仍然可以使用基于该列的索引进行处理,从而即保障了数据的安全,又能够同时维护更好的性能。6) 安全

34、审计,在集中的安全审计控制台上对系统进行安全审计；7) 病毒防御,主要实现防病毒。5. 平台网络拓扑平台网络拓扑图旅游客源分析平台的所有服务器都将部署在移动公司网络内部,同时给企业用户提供公网的访问方式。结合移动集团对网络安全性的要求,本平台的服务器将分部署在移动南关IDC机房。部署在移动南关IDC机房的服务器通过防火墙与移动常青核心机房的中兴信令监测系统的FTP服务器进行信令数据的接收。这种部署既保证了移动网络的安全,同时也为系统的用户和其他企业用户访问本平台提供了便利的方式。6. 平台关键流程6.1 平台业务主流程由中兴信令监测平台将信令数据放到指定目录并开通FTP服务器,旅游客源分析应用

35、平台通过FTP方式登录并下载接口数据文件,然后旅游客源分析应用平台进行实时的统计分析各景区游客的相关信息数据。信令数据包括语音通话信令、SMS MO和MT 通信信令以及Location Update 数据包括正常位置更新和周期位置更新信令内容,然后通过数据采集模块进行采集。采集后经过文件加载模块到数据库,之后通过数据清洗模块过程,去除错误及需要翻译的数据内容,以及进行数据精简,之后经过两个路径：第一、提供给白名单分析流程,作为景区白名单分析数据；第二、提供给数据分析进程,过白名单过滤过程,然后进行景区范围数据过滤,生成用户的轨迹特征表,再根据轨迹特征向前比对分析处理模式,根据分析思路的模型算法

36、,分析出真正的游客列表,之后跟游客列表及识别时间分别汇总在园游客数及入园游客数列表,之后根据游客列表进行其归属地分析以及根据总数估算算法运算全网游客总数。6.2 信令分析处理流程信令分析处理流程图流程如下：1) 由信令监测平台将信令数据放到指定目录并开通FTP服务器。2) 旅游客源分析平台通过FTP方式登录并下载信令数据文件。3) 对信令数据进行去除错误、翻译转义和数据精简等操作,最后将数据加载到数据库。4) 对数据库中当前时间片的信令数据进行统计分析包括正常位置更新和周期位置更新信令各区域人员的相关信息数据。5) 提供给白名单分析流程,作为各区域白名单分析数据；6) 然后进行区域范围数据过滤

37、,生成用户的行为特征表。7. 平台功能模块7.1 业务分析子系统7.1.1 景区综合流量统计分析系统支持根据地市、景区、景点进行实时人数监测。实时查询当前情况,也可以查询当天累积流量情况,支持跨时间段多天查询。通过实时数据采集信令数据,实时分析并更新景区当前在园游客数及入园游客总数。分析周期频率为1小时,分析时段定义为2小时,从早上6点到下午22点,共8个时段。输出结果：景区准实时分别的在园游客数、入园游客数l 按市单日统计日期2012-5-12市6:00 - 8:008:00 - 10:0018:00-20:0020:00-22:00合计估算总人数XX l 按景区单日统计日期2012-5-1

38、2景区名称6:00 - 8:008:00 - 10:0018:00-20:0020:00-22:00合计估算总人数神农架 l 多日及整月统计当统计策略为按时段统计时,这统计时间可以选择任意一天,或者是一个时间跨度,不过此时时间跨度不能够超过 7 天,系统会有提示。当统计策略为按月统计时,界面时间选择只有年和月,查询结果景区在某一天的景区达到移动游客数和估算总人数表格月份2012-5景区名称5.15.15.35.45.55.65.7合计估算总人数神农架 v 分析实例：.7.1.2 景区游客来源地构成分析通过实时分析景区入园游客及在园游客数量,确定游客特征的用户后,根据用户手机号码归属地分析游客来

39、源地,细分的地市一级。系统可详细统计景区一天中各个时段内各个来源省的游客数量,以及全天汇总的各个来源省游客总量,及时监控当前游客来源地构成情况。l 归属省实时入园游客数、实时在园游客数、实时全网用户估算、占比数分析l 归属省多日入园游客数、实时在园游客数、实时全网用户估算、占比数分析l 归属省-地市实时入园游客数、实时在园游客数、实时全网用户估算、占比数分析l 归属省-地市多日入园游客数、实时在园游客数、实时全网用户估算、占比数分析输出结果：l 归属省实时入园游客数、实时在园游客数、实时全网用户估算、占比数 分析景区名称西湖日期2012-5-12省名称6:00 - 8:008:00 - 10:

40、0018:00-20:0020:00-22:00合计估算总人数占比数海外北京上海XXXXXXXX l 归属省多日入园游客数、实时在园游客数、实时全网用户估算、占比数分析景区名称西湖省名称2012-05-012012-05-022012-05-032012-05-04合计估算总人数占比数海外北京上海XXXXXXXX l 归属省-地市实时入园游客数、实时在园游客数、实时全网用户估算、占比数分析景区名称西湖日期2012-5-12省名称6:00 - 8:008:00 - 10:0018:00-20:0020:00-22:00合计估算总人数占比数海外北京上海XXXXXXXX XXXXXX XXXXXX

41、XX l 归属省-地市多日入园游客数、实时在园游客数、实时全网用户估算、占比数分析景区名称西湖省名称2012-05-012012-05-022012-05-032012-05-04合计估算总人数占比数海外北京上海XXXXXXXX XXXXXX XXXXXX XX 7.1.3 景区全网总游客实时估算当前分析的实时游客数是基于移动本网用户数的,不能够分析其他运营商的游客用户数据,所以根据调研和实际数量建立用户数估算模型,需要实时估算全量游客数量。根据实测的本移动2G/3G用户,考虑其他运营商联通,电信有无线网络覆盖地区的用户数.目前移动用户全国占比在72%左右,因为游客多为漫入用户,所以占比应该应

42、用这一比较进行计算,而且可以进行系统配置,调整各省的占比数量,系统提供各个省-地市用户占比估算比例配置功能,可以根据各个省-地市的不同占比推送省-地市一级游客总数,然后合计成景区的估算总人数。输出结果：景区估算总人数在景区实时流量分析表及景区游客来源地构成分析表中进行展示,不单独提供展示界面。日期2012-5-12景区名称6:00 - 8:008:00 - 10:0018:00-20:0020:00-22:00合计估算总人数西湖 7.1.4 景区流量预判模型分析建立完善的景区流量预估模型分析未来某时段的预期游客数量情况,系统可以根据数据沉淀对模型进行优化。根据相关景区前1天、前7天、前15天、

43、前30天、前60天、前3个月、前6个月及前1年的时段流量、旅游路线关联的相关景区等特征进行综合分析,建立流量预判模型,分析和预判当前景区的未来时段的景区的人流情况,达到提示告警线时可以进行信息提示。根据前1/7/15/30/60/90/120/180/360天的时段流量或天流量趋势,可以分析预判当前景区未来1-7天的客流情况,同时又分为平日预测和节假日预测两个算法模型。见下图：.7.1.5 景区流量上限告警在景区容量超过预定的比例时,系统提供多个级别的预警信息。根据景区的容纳游客人数,同景区实时游客进行比较,达到上限时进行告警,提高景区管理职能和服务能力,及安全保障措施系统提供设置景区容量及告

44、警阀值的设定上限值,如景区容量的C%. 可以提供两种类型的告警。一般情况下使用前一种告警l 根据当前旅游景区总到达用户实时估算值,与景区容量之比大于C%时告警l 根据当前旅游景区当前实时用户数统计, 与景区容量之比大于C%时告警系统通过界面展示景区总用户数估算值的告警,通过亮灯颜色进行显示,点击景区名称链接直接跳转到旅游景区游客密度分析景点用户人数展示界面,并跳转到相关的景点信息。7.1.6 旅游景点热度排名分析分别分析各景区游客的排名情况,可分别以日、周、月、季、年等方式分析游客来源地排名统计,并以图表等方式展示。在了解游客归属地情况下,可以进一步统计各个省市用户到达旅游景区的热度排名,再分

45、别通过当天、周、月、季、年的方式展现各个旅游景区人数排名 、分时段人数排名。旅游景区按来源分省/地市人数按照统计时间段内采样时刻最高该省/地市人数统计。系统可以实现如下功能l 按当天统计旅景区分省/地市人数排名l 按周累计旅游景区分省/地市人数排名l 按月累计旅游景区分省/地市人数排名l 按季累计旅游景区分省/地市人数排名l 按年累计旅游景区分省/地市人数排名v 通过柱状图的方式显示排名前十的省：v 通过柱状图的方式显示排名前十的城市7.2 页面展现子系统7.2.1 菜单功能列表v 统计分析菜单o 旅游景区游客分析 景区用户数 归属省用户数 归属省-地市用户数o 旅游景区游客密度分析 景点用户

46、人数o 景区人数预报分析 景区人数预报v 旅游景点热度菜单o 旅游景点热度排名 按省总人数排名 按地市总人数排名o 旅游线路归类排名o 游客分布图主要体现各个客流的分布情况v 景点文化内容编辑：系统可以对景区,景点的文化内容进行在线编辑和修改v 景区流量上限告警菜单o 总用户数实时估算值告警o 流量实时统计告警v 数据查看菜单o 省信息查看o 市信息查看o 号码归属地o 景区信息查看o 景点信息查看v 安全管理菜单o 用户管理o 角色管理o 权限管理7.2.2 界面辅助功能介绍v 景区分析游客数实时滚动条,点击直接进入到景区用户数界面。v 左菜单隐藏功能,点击箭头可以隐藏左侧菜单栏。v 修改密

47、码和注销功能,可以通过修改密码修改当前用户密码。v 打印、下周EXCEL表格和PDF文档格式,在查询结果界面都有此标志。v 翻页功能,当统计结果需要多页显示时,界面会有翻页标志及显示当前页。7.2.3 运营部门应用Portal运营部门的管理员能够对所有实时数据和统计数据进行查看。7.3 管理子系统一级功能二级功能功能说明用户管理模块用户管理提供系统管理员、管理员、普通用户三个层级的角色划分。系统管理员为系统内置最高权限用户,不可删除。管理员为系统管理员分配某些用户为具有管理权限。普通用户为一般的操作用户。角色管理模块组织结构管理定义系统内的组织机构层级、隶属人员、职位信息等。用户权限模块权限管

48、理提供对各模块的权限划分和分配管理。日志管理模块实时日志管理实时提供登录日志、操作日志等管理。历史日志管理提供历史登录日志、操作日志等管理。故障日志管理提供故障日志的管理。参数设置模块系统参数配置提供系统各类参数设置接口参数配置提供接口参数配置：端口号、IP地址等定时任务参数配置提供定时任务配置：定时任务的增删改查7.3.1 用户管理提供用户基本信息管理功能、用户群组/角色、功能权限分配管理以及帐户浏览控制管理等等。7.3.2 权限管理权限管理主要分为省级和景区两级。景区权限只能查看本景区的统计信息。而省级权限可以查看所有景区的统计信息。7.3.3 实时监控监控平台实时运行状态、实时消息收发统

49、计数据等的查询。7.3.4 日志管理系统能记录收发的短消息,用户可以根据权限的设置查询相应的收发历史,可以进行灵活的查找过滤,用于监控和分析。7.3.5 基站位置信息管理1) 从基站位置管理系统同步基站的位置信息；2) 区域图的导入和导出；3) 管理员可以手动管理基站信息查询、增加、修改、删除、导入导出；4) 管理员可以手动管理区域与基站的对应关系；7.3.6 系统参数配置管理系统参数管理是对系统的各种参数进行设置,包括：5) 配置Web系统参数6) 配置数据库客户端网络服务名7) 配置企业信息机服务器IP7.4 内容数据库子系统有两部分组成,内存数据库与关系型数据库。内存数据库存储用户与位置

50、的信息,这些信息是从中兴信令监测平台获取数据进行分析后得到的；关系型数据库,存储基础信息、游客信息、统计信息等。8. 平台外部接口8.1 信令采集接口8.1.1 数据采集模式1. 信令数据以文件方式发送,旅游客源分析平台每1小时采集一次数据,并进行数据更新。2. 采用ftp方式进行数据传输,数据采集端将数据文件存放在某一指定目录,并开通ftp服务,数据接收方通过ftp到服务器主动获取数据文件。3. 数据文件命名LER_YYYYMMDDHHMMSS.txt,时间精确到秒,定长,不足位补零。例如LER_20060703173030.txt代表20XX7月3日17:30:30之后一分钟的数据,数据的

51、时间段为20XX7月3日17:30:30, 17:31:30。4. 为了检查是否有文件丢失,数据采集端生成完一个数据文件后即生成一个校验文件,文件名也需要包含生成时间信息如LER_YYYYMMDDHHMMSS.CHK.8.1.2 信令数据内容数据文件格式抽取方式及周期以定期文件接口抽取,抽取周期为1分钟接口数据文件名LER_YYYYMMDDHHMMSS.txt次序字段字段类型描述备注1Time_Stampdatetime时间年/月/日 时:分:秒2UactunsignedByte用户行为00正常位置更新01-周期位置更新02-IMSI附着03-IMSI分离04-呼出05-呼入06-发送短信07

52、-接收短信3MSISDNString18用户的手机号码4LacInt4业务发生的LAC。5CiInt4业务发生的ci6Res2扩展保留0x0D0A暂时为空回车换行符校验文件格式抽取方式及周期发送一个数据文件后即发送一个校验文件校验文件名LER_YYYYMMDDHHMMSS.CHK属性编码属性名称属性描述类型备注01file_name信令文件名CHARLER_YYYYMMDDHHMMSS.txt02file_size信令文件大小NUMBER文件的物理存储大小字节数03row_num记录行数NUMBER04tx_date数据日期CHARYYYY-MM-DD05file_time文件生成时间TIME

53、STAMPYYYYMMDD HH:MM:SS0x0D0A回车换行符8.1.3 数据转换和校验1、 数据转换规则数据采集端在生成接口数据文件时,遵守如下数据转换规则：l 分隔符本次数据传送以,进行字段分隔,没有采取定长的传送方式,保证字段信息内部不包含分隔符；l NULL值当某一个字段为空值时,该字段不包含任何内容,直接以分割符标记；l 各种分类角度维度的代码转换在生成接口数据文件时,所有分类角度维度的代码严格按照代码字典表转换,所有接口文件中涉及到的分类角度或取值,在字典表中有对应关系；l 编码格式汉字：GBK内码,西文：ASCII码l 数字格式在接口数据文件中,数字的表示规范,小数点的前后有

54、数字,如：0.01或34.0,不用.01或34.表示；符号处理：数字最高位的左边第一位为符号位。对于负数,符号位为-,正数不用加符号位；左对齐,必须以空格右填充至定义的长度；l 字符格式左对齐,必以空格右填充至定义的长度l 空格业务系统中,字段的值完全为空格一个或多个或字段值首尾包含的空格,在数据仓库中视为无意义,所以如果在业务系统存在中以上类型的空格,必须转换为有意义的其它字符,字符串的前后空格均视为无意义。2、 数据校验规则文件级校验是指根据数据采集端提供的接口校验文件信息,对需要传输的接口文件进行校验,校验内容如下：l 接口数据文件名称根据接口校验文件中记录的文件,查找接口数据文件目录下

55、该接口数据文件是否存在；检查接口数据文件的名称是否遵守规范中的命名规范；l 数据日期验证接口校验文件中记载的数据日期与接口数据文件名中的数据日期是否一致；l 文件的生成日期验证接口校验文件中记载的文件生成日期与实际接口数据文件的生成日期是否一致；l 文件的大小字节数验证接口校验文件中记载的文件大小与实际接口数据文件的文件大小是否一致；l 文件中包含的记录数验证接口校验文件中记载的文件记录数与实际接口数据文件中的记录行数是否一致；l 文件中单行记录的长度验证实际接口数据文件中的每行记录长度是否与本规范定义的长度一致。8.2 基站位置信息接口8.2.1 数据同步模式1. 基站位置信息数据以文件方式发送,旅游客源分析平台每天可配置同步一次数据,并进行数据更新。2. 如果基站位置信息没有变动,基站位置信息系统不需要发送文件。3. 采用ftp方式进行数据传输,基站位置信息系统将数据文件存放在某一指定目录,并开通ftp服务,数据接收方通过ftp到服务器主动获取数据文件。4. 基站位置信息中的区域与LAC+CELL是多多对多关系,即一个区域里有多个LAC+CELL的组合,同时一个LAC+CELL的组合也可以对应到多个区域。8.2.2 基站位置信息全量同步接口