基于大数据的http端到端关联方法研究

《基于大数据的http端到端关联方法研究》由会员分享，可在线阅读，更多相关《基于大数据的http端到端关联方法研究（12页珍藏版）》请在装配图网上搜索。

1、精心整理成果上报申请书成果名称基于大数据的http端到端关联方法探究 成果申报单位中国移动通信集团湖北有限公司 成果担当部门/分公司中国移动通信集团湖北有限公司网管中心工程负责人姓名工程负责人联系电话和Email成果完成人完成人数量不超过10个成果一级领域IT成果二级领域IT应用成果三级领域大数据应用成果专业类别*所属专业部门*成果探究类别*省内评审结果*关键词索引35个应用投资0万元指别的省引入应用大致须要的投资金额产品版权归属单位 中国移动通信集团湖北有限公司对企业现有标准标准的符合度：按填写说明51、中国移动统一DPI设备技术标准；2、中国移动集中性能管理平台建立标准；成果来源：假如该成

2、果来源于集团研发打算内工程，请填写研发工程年度、工程名称及类型；否那么填写“打算外工程”按填写说明6打算外工程专利状况：假如该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等状况。按填写说明7未申请专利成果简介：随着网络带宽的增长与效劳器性能的提高，http效劳越来越侧重，WEB页面越来越花哨。如新浪首页中包含40个站点和超300个恳求。而无线网络空口资源是有限的，须要考虑如何在有限的资源下提高Http协议传输效率，以及Http用户的上网体验。通过大数据平台发觉,http不同版本对Http时延有很大的影响。在移动互联网环境，时延过大

3、，丢包不再是网络发生拥塞的必要条件，无线网络由于切换、信号衰落、强干扰等引发的突发丢包和时延抖动都会引出网络拥塞，都会被TCP误判，所以引入Http的端到端分析，与用户的MR信息进展关联，能够有效的幸免这种误差，更为准确的定位这种无线环境问题引起的http问题。该篇主要通过探究Http业务的端到端关联方法，利用机器学习，合成基于HTTP端到端分析的SDR数据，为分析HTTP端到端业务供应数据根底。 省内试运行效果：本方案结合了大数据平台的数据，进展Http用户的深度挖掘，节约了路测优化所带来的人力与物力开销，同时也幸免数据单一对整体指标的打算性的影响，可以更加准确的发觉问题，定位问题，解决问题

4、，可以更好的提升问题处理效率，更好的提提升速专网的运行实力与用户满足度。本方案针对挖掘出来的真实Http用户，结合现有大数据平台的数据、用户MR数据深度关联，实现相应的专题分析功能，完成Http业务各种网络问题缘由分析，实现整个Http过程由用户到效劳器的端到端分析。文章主体3000字以上，可附在表格后：依据成果探究类别，主体内容的要求有差异，详细要求见表格后的“填写说明8”。详细内容见表格后的附件。一、背景说明随着网络带宽以及效劳性的提高，目前由IP网络承载的各种业务已经成为移动网络的命脉，业务性能的好坏干脆影响到客户感知，业务开展以及商业市场。目前语音方面有基于IMS分组域的VOLTE，数

5、据方面主要是基于Http协议的各类效劳，优化Http业务质量，已经显得尤为重要了。目前Http问题的定位相互推诿的现象特别平凡，一种能够准确分析定位，并且相互认可的分析方法已经燃眉之急。HTTP协议HyperText Transfer Protocol，超文本传输协议是用于从WWW效劳器传输超文本到本地阅读器的传送协议。它可以使阅读器更加高效，使网络传输削减。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一局部，以及哪局部内容首先显示(如文本先于图形)等。HTTP是基于TCP协议之上的。在TCP/IP协议参考模型的各层对应的协议如下列图,其中HTTP是应用层的协议。图1.1 H

6、TTP在TCP/IP协议中所在协议层因此，探究Http的端到端分析，有助于提高HTTP业务的定位实力手段，将其转换成系统性规那么或提取成学问。本案例，将探究与用户面与限制面数据关系，以供后续HTTP分析平台的搭建，发生时得以有效且快速解决，并建立数据分析系统 ，当发生HTTP业务故障时，系统可自动产生处理建议，提示工程师留意，刚好跟进处理。二、HTTP端到端关联方案122.1 方案创新点目前现网中对HTTP业务的优化主要是分段式的优化手段，分为无线侧、核心网侧、业务网侧，目前优化手段主要是无线侧，对核心网、业务网优化的手段较少。传统的优化分析手段，也简洁造成各个分析环境的脱节，单个问题的分析周

7、期加长，导致问题的整个生命周期过长，最终不了了之的状况居多,造成很大程度上的用户感知差状况。比方：客户投诉微博刷新慢，王者荣耀嬉戏卡顿的状况等，这种状况下许多时候链路是正常的，但是就是无法确认问题缘由，这个问题目前普遍存在。如下列图2.1-1所示： 图2.1-1处理HTTP业务故障存在的问题HTTP端到端方案，就是想着力于解决目前这个问题，将整个HTTP业务流程无线侧+用户面+限制面单个XDR的数据关联在一个SDR(SUPER XDR)中，快速打算的定位某个HTTP流程中的问题所在。2.2 数据关联打算 UE开机，通过小区选择和小区重选，驻留到适宜的小区后，就进展”Initial EPS At

8、tach”的过程。通过初始EPS附着，UE可以在EPS网络进展分组域效劳的注册，同时，建立缺省的EPS承载，进展用户数据的传输，就能够建立HTTP业务效劳。详情参见3GPP 23.401和29.274图2.2-1 LTEInitialAttach3GPP23.401过程接收到MME发送的Create Session Request消息后，SGW会为S5接口上的GTP Tunnel创立SGW侧的标识，以供PGW侧发来的下行GTP Tunnel运用。由于S5接口上既包含有UE用户面的数据，也包含有限制面的数据。因此，须要建立GTPC和GTPU的Tunnel，SGW须要创立SGW GTPC的FTEI

9、D 和SGW GTPU的FTEID。SGW向PGW发送Create Session Request消息， 包含上述 TEID信息和接收到MME的Create Session Request中的局部信息。图2.2-2 Create Session Request中包含用户IMSI以及MSISDN等用户信息PGW为UE安排相应的IP地址，建立UE到PDN之间的路由。返回Create Session Response 给SGW。Create Session Response的内容包括有：安排的PDN Address，以及PGW TEIDC和PGW TEIDU等。 这样SGW和PGW之间的EPS Be

10、arer就建立起来了。SGW安排SGW TEID-C 和SGW TEIDU，并将他们包含在返回给MME的Create Session Response中。Create Session Response中的GTP Header的TEID值取为SGW在Create Session Request中报上来的SGW FTEIDC。 图2.2-3 Create Session Response中包含链路的隧道标识 因此通过机器学习，我们能够驾驭到用户的IMSI，MSISDN，IMEI,USER-IP，SGW-IP，TEID通过学习回填的方法，能够在用户面和限制面通过统一的回填标识进展关联，关联的结果。因

11、此只要通过回填IMSI，MSISDN，USER-IP，TEID就能够通过这些唯一条件关联HTTP业务流程涉及到的ENODEB、MME、SGW、UEMR、空口。这样就将HTTP涉及到用户面、限制面、无线环境全部关联起来，为整个HTTP的端到端分析供应了依据。2.3 HTTP端到端关联方法通过上面的章节我们知道，HTTP的端到端关联的关键在于用户号码的回填，确认回填规律以及学习方法，是保证我们回填有效性和准确性重要的步骤。2.2.1 S11接口号码学习在S11接口中能够学习到IMSI、IMEI和MSISDN，能够与用户面数据相关联的用户标识有USER-IP、SGW-ID以限制面SGW-IP通过静态

12、配置文件映射+SGW-TEID用户面、SGW-TEID用户面+ENODEB-TEID用户面。2.2.2 USER-IP与号码关联的学习l 用户的USER-IP标识由PGW安排，在S11接口的CreateSession类型XDR中与用户IMSI绑定，由S11接口的DeleteSession类型XDR中解除与用户的绑定；l 我们据此实现为收到CreateSession类型XDR时创立IMSI与USER-IP关系，在收到DeleteSession时删除USER-IP与IMSI的对应关系；l DeleteSession-XDR中的USER-IP是无效的，其只能先通过SGW-IP限制面+SGW-TEID

13、限制面索引与USER-IP做关联，然后才能删除相应的USER-IP与IMSI的对应关系。2.2.3 SGW-ID+SGW-TEID用户面与号码关系的学习l 用户的SGW-ID+SGW-TEID用户面标识由SGW安排，在S11接口的CreateSession类型XDR中与用户号码绑定，由S11接口的DeleteSession类型XDR触发解除与用户号码的绑定；l 我们据此实现为收到CreateSession类型XDR时创立IMSI与SGW-ID+SGW-TEID用户面的关系，在收到DeleteSession时删除与IMSI的对应关系；l CreateSession与DeleteSession-X

14、DR中只有SGW限制面的IP地址，而用户面XDR中仅有SGW用户面的IP地址，因此只能先通过一个静态配置文件将SGW-IP限制面映射为一个全局唯一的SGW-ID，然后才能建立起与用户面XDR的SGW-IP的对应关系。l 由于SGW-ID+SGW-TEID用户面只能通过CreateSession与IMSI绑定，在CreateSession丧失的状况下，会导致用户面XDR以SGW-ID+SGW-TEID用户面回填号码失败；在DeleteSession丧失的状况下会导致SGW-ID+SGW-TEID用户面与IMSI的对应关系被错误保存，假如其次个用户的CreateSession和同时丧失的状况下，会

15、导致把第一个用户的号码误回填给其次个用户。2.2.4 SGW-TEID用户面+ENODEB-TEID用户面与号码关系的学习l 用户的SGW-TEID用户面+ENODEB-TEID用户面标识由SGW和ENODEB安排，由S11接口的CreateSession类型XDR与用户IMSI绑定，由ModifyBearer类型XDR更新与用户号码的关联关系，由S11接口的DeleteSession类型XDR中解除与用户号码的绑定；l 我们据此实现为收到CreateSession类型XDR时创立IMSI与SGW-TEID用户面+ENODEB-TEID用户面的关系，在收到ModifyBearer时更新与IMS

16、I的关系，在收到DeleteSession时删除与IMSI的对应关系；l ENODEB-TEID由ENODEB安排，因此在用户做X2和MME切换时，就会导致SGW-TEID用户面+ENODEB-TEID用户面更新，因此这个索引的改变频率相比照拟频繁。l 由于SGW-TEID用户面+ENODEB-TEID用户面通过CreateSession与IMSI绑定，并且通过ModifyBearer更新，因此在CreateSession或ModifyBearer丧失的状况下，都会导致用户面XDR以SGW-TEID用户面+ENODEB-TEID用户面回填号码失败或误关联；在DeleteSession丧失的状况

17、下会导致SGW-TEID用户面+ENODEB-TEID用户面与IMSI的对应关系被错误保存，假如其次个用户的CreateSession或ModifyBearer同时丧失的状况下，会导致把第一个用户的IMSI误回填给其次个用户。2.2.5 S1-U接口XDR号码回填方法l 以USER-IP为索引查询号码l 每个S1-U接口XDR都带有USER-IP，USER-IP由PGW安排，改变概率较小，因此优先用USER-IP做为号码回填查询索引；l 每个S1-U接口XDR都带有SGW-ID+SGW-TEID用户面信息，该信息由SGW安排，改变概率相对较小，在用USER-IP回填失败的状况下，优先用SGW-

18、ID+SGW-TEID用户面做为号码回填查询索引；l 每个S1-U接口XDR都带有SGW-TEID用户面+ENODEB-TEID用户面信息，该信息由SGW和ENODEB安排，在用户做X2和MME切换时，就会导致ENODEB-TEID用户面更新，因此这个索引的改变频率相比照拟频繁，在前面两个查询索引回填号码失败的状况下，最终运用SGW-TEID用户面+ENODEB-TEID用户面做为号码回填查询索引；2.2.6 UU接口XDR号码回填方法l S1AP_ID为关联条件进展关联号码l 用户的要发送一条eNB-UE-S1AP-ID配，由S1MME接口的接收到建立连接之后，向UE索要IMSI信息，S1M

19、ME通过S6A接口查询UE合法性后，完成一条S1AP链路建立连接。l 我们据此实现为收到eNB-UE-S1AP-ID-类型XDR时创立IMSI与MME-S1APID限制面的关系，在收到鉴权时更新与IMSI的关系，在收到鉴权拒绝时时删除与IMSI的对应关系；l eNB-UE-S1AP-ID由UE申请，因此在用户做X2和MME切换时，就会导致S1AP-ID更新，因此这个索引的改变频率相比照拟频繁。2.4 HTTP端到端关联总结由于SGW-TEID用户面+ENODEB-TEID用户面通过CreateSession与IMSI绑定，并且通过ModifyBearer更新，因此在CreateSession或

20、ModifyBearer丧失的状况下，都会导致用户面XDR以SGW-TEID用户面+ENODEB-TEID用户面回填号码失败或误关联；在DeleteSession丧失的状况下会导致SGW-TEID用户面+ENODEB-TEID用户面与IMSI的对应关系被错误保存，假如其次个用户的CreateSession或ModifyBearer同时丧失的状况下，会导致把第一个用户的IMSI误回填给其次个用户。目前HTTP已经完成整个端到端关联，相关关联率为80%左右，因此为了提高HTTP端到端关联，还须要增加以下修正方法：l USER-IP由PGW安排和释放，但DPI标准中S11接口XDR中没有任何PGW相

21、关信息，因此退而求其次的相对合理的解决方法是，给USER-IP加上SGW-TEID用户面做为限制；l 不能用SGW-ID做为限制的缘由是，一个SGW会与多个PGW相连，每个PGW安排USER-IP的取值策略完全是独立的，因此对一个SGW来说就可能同时存在多个一样的USER-IP；l 用SGW-TEID做限制也并不完备，但SGW-TEID是32位整数，其与同为32位整数的USER-IP组合起来，在必须时间段内与另一个用户重复的概率很小，几乎可以忽视不计；l 这个改良方案的一个难点是，一个用户在同一时刻可能有多个用户面SGW-TEID，这些SGW-TEID都须要与USER-IP组合成查询索引，增大

22、了号码关系信息的数据量。而为用户安排SGW-TEID的除了CreateSession之外，还有CreateBearer和UpdateBearer，对SGW-TEID的释放有可能是通过DeleteBearer，也有可能是在最终仅通过一个DeleteSession统一全部释放，这就要求不但要跟踪关联每一个用户全部的，从CreateSession起先到DeleteSession完毕之间的CreateBearer、UpdateBearer和DeleteBearer，还要将全部已安排未释放的SGW-TEID都保存起来，以备在DeleteSession时删除全部的相关索引；l 同一个地市内USER-IP应

23、当不会出现重复问题，只有从外地市切换过来的才可能出现，而这个比例应当是特别低的，因此我们建议先不忙着修改，还是先确认一下这种重复的概率有多高，假如特别低，那么我们不建议进展修改。三、后续开发本方法对接入网的S1-U(主要是HTTP协议)，S1MME，UE_MR接口消息，采纳机器学习的方法回填，合成基于HTTP端到端的SDR，用于分析HTTP业务的时延、下载速率慢、HTTP掉线等问题。由于该方案属于比拟前瞻性方案，资金投入较少，目前实现平台一体化的工程暂未开展，建议后期通过大数据平台，建成集成的，可视化，易操作的HTTP端到端优化分析平台。后续应用平台实现基于HTTP业务基于不同维度的KPI指标

24、分析呈现，维度可以包括CELL、ENDOD、MME、SGW、IMEI等多个终端的页面请示胜利率，HTTP下载速率，HTTP时延，视频业务、即时通信业务等进展专项分析。四、应用价值社会价值：充分利用可轻松获得的各接口数据，降低一线员工劳动强度，提高互联网业务维护优化效率，降低运营本钱，提升4G用户高带宽、高质量的各种各样的互联网享受。经济价值：遵照全省20起HTTP业务投诉来看，且志向化削减各个投诉点的来回时间，都出在一地市，遵照最精简的算法来看，须要3年中级人员，2个高级优化人员，加上车辆费用1年投入超过120万元。另外由于HTTP专项，提高HTTP效劳水平，可以留住大量高端用户，常年以往，这

25、个收益无法估计。管理价值：HTTP端到端分析定位HTTP业务各项缘由，削减了 HTTP的分析环节，从以前多部门多接口，须要各种协调，削减管理以及跟综本钱，一键性评估定位问题。杜绝一个HTTP问题，各种推诿的状况。五、应用状况与效果本方法对接入网络的S1-U、UE_MR、S1-MME接口等，采纳机器学习的方法回填IMSI，合成基于HTTP端到端的SDR，用于分析HTTP业务端到端优化分析。可以对影响HTTP业务的无线缘由,比方切换、弱覆盖缘由，以及HTTP的核心网缘由进展分析。能够基于HTTP业务的终端、CELL、ENDODE、MME、SGW各个网元进展分维度KPI指标优化分析。结合各项KPI指

26、标，用于提高用户HTTP用户感知。目前基于HTTP业务端到端的SDR合成率能到达80%左右，根本能够解决80%的HTTP业务有关的问题，相对于前期关联来看，已经是一个比拟高的指标。后期通过IMSI回填以及关联算法，会进一步的提升合成率。通过HTTP业务优化，预警的方式，提前发觉场用户的可能投诉点，有效有效削减用户投诉，提高用户的满足度，削减用户因对网络的不满而转网的风险。本系统主要针对HTTP业务端到端关联分析，后续还可以针对S1-U用户面的其它业务，比方：FTP、MMS、EMAIL等进展扩展，只要对将HTTP业务换成相应的业务进展修正与优化即可，系统的可复制性很强，提升了系统的适应性、扩展行

27、、可利用性。六、完毕语目前传统的语音业务已经较少，大局部的用户都在分组业务域。关于HTTP业务的质量，已经越来越被用户所重视。将来的机遇在分组域上，而分组域目前运用最广范的TCP/IP上层协议为HTTP协议。谁先驾驭了HTTP业务的端到端的优化手段，谁就能更好的吸引潜在用户，留住本网用户。然后，目前我们基于HTTP业务的优化手段很少，须要涉及到网优侧和互联网侧的协调，而在实际协调过程中，协同优化的效果并不是很好，甚至最终对问题的缘由存在相互推诿的状况。而目前基于本案例算法的HTTP端到端业务的SDR合成率能够到达80%，在很大程度上能够改善，甚至解决目前HTTP优化分析存在问题。可以简洁联想，系统的后期平台应用建立以及完善，可以更好的反响出HTTP用户的真实问题，提前预警问题，提前解决问题，充分表达运营商以人为本的经营理念，进一步提高网络质量，供应更优质的效劳。