数据挖掘应用简介

《数据挖掘应用简介》由会员分享，可在线阅读，更多相关《数据挖掘应用简介（75页珍藏版）》请在装配图网上搜索。

1、Click to edit Master text styles,,Second level,,Third level,,Fourth level,,Fifth level,,Master title style,,,,,,数据挖掘应用简介,,,引言,,,,分析报告给你后见之明 (hindsight)；,,统计分析给你先机 (foresight)；,,数据挖掘给你洞察力 (insight)。,,,Berry & Linoff (1997),,目录,数据挖掘基本概念,,客户分群,,流失预测,,数据挖掘的定义,,数据挖掘的历史虽然较短，但从20世纪90年代以来，它的发展速度很快，加之它是多学科综合

2、的产物，目前还没有一个完整的定义，人们提出了多种数据挖掘的定义，例如：,,,SAS研究所(1997)：“在大量相关数据基础之上进行数据探索和建立相关模型的先进方法”。 Bhavani(1999)：“使用模式识别技术、统计和数学技术，在大量的数据中发现有意义的新关系、模式和趋势的过程”。　 Hand et al(2000)：“数据挖掘就是在大型数据库中寻找有意义、有价值信息的过程”。,,,,,(1) 分类:按照分析对象的属性、特征，建立不同的组类来描述事物。,,,(2) 聚类:识别出分析对内在的规则，按照这些规则把对象分成若干类。,,,(3) 关联规则和序列模式的发现：关联是某种

3、事物发生时其他事物会发生的这样一种联系。,,,(4) 预测:把握分析对象发展的规律,对未来的趋势做出预见。,,,(5) 偏差的检测:对分析对象的少数的、极端的特例的描述，揭示内在的原因。,,数据挖掘主要功能,数据挖掘的方法,,,(1) 传统统计方法：① 抽样技术：我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。② 多元统计分析：因子分析，聚类分析等。③ 统计预测方法，如回归分析，时间序列分析等。,,,,(2) 可视化技术：用图表等方式把数据特征用直观地表述出来，如直方图等，这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据

4、的可视化。,,,(3) 决策树：利用一系列规则划分，建立树状图，可用于分类和预测。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。,,,,数据挖掘的方法,,(4) 神经网络：模拟人的神经元功能，经过输入层，隐藏层，输出层等，对数据进行调整，计算，最后得到结果，用于分类和回归。,,,,(5) 遗传算法：基于自然进化理论，模拟基因联合、突变、选择等过程的一种优化技术。,,(6) 关联规则挖掘算法：关联规则是描述数据之间存在关系的规则，形式为“A1∧A2∧…An→B1∧B2∧…Bn”。一般分为两个步骤：① 求出大数据项集。② 用大数据项集产生关联规则。,,,数据挖掘标准流程 ——CR

5、ISP-DM,CRISP－DM是CRoss-Industry Standard Process－Data Mining的缩写,CRISP－DM,商业理解,,数据理解,,数据准备,,建立模型,,模型评估,,模型发布,商业理解（Business Understanding),,找问题,----,确定商业目标,,对现有资源的评估,,确定问题是否能够通过数据挖掘来解决,,确定数据挖掘的目标,,制定数据挖掘计划,数据理解(Data Understanding),,确定数据挖掘所需要的数据,,对数据进行描述,,数据的初步探索,,检查数据的质量,数据准备(Data Preparation),,选择数据,,清

6、理数据,,对数据进行重建,,调整数据格式使之适合建模,建立模型（Modeling),,对各个模型进行评价,,选择数据挖掘模型,,建立模型,,模型评估(Evaluation),,评估数据挖掘的结果,,对整个数据挖掘过程的前面步骤进行评估,,确定下一步怎么办？是发布模型？还是对数据挖掘过程进行进一步的调整，产生新的模型,模型发布（Deployment）,,把,数据挖掘模型的结果送到相应的管理人员手中,,对模型进行日常的监测和维护,,定期更新数据挖掘模型,,数据挖掘应用领域,电信：流失、聚类,,银行：聚类（细分）, 交叉销售,,百货公司/超市：购物篮分析 （关联规则）,,保险：细分，交叉销售，流失（

7、原因分析）,,信用卡：欺诈探测，细分,,电子商务：网站日志分析,,税务部门：偷漏税行为探测,,警察机关：犯罪行为分析,,医学：医疗保健,为何要数据挖掘?,数据,,+ 工具,,+ 方法,,+,目标,,= 知识,数据,,+,工具,+,,方法,,= 信息,＋,＋,＋,＋,数据,,+,工具,+ 方法,,+ 目标,,+,行动,,= 价值,目录,数据挖掘基本概念,,客户分群,,流失预测,,引言,,,我不知道成功的关键是什么，但是我,,知道失败的关键是什么？那就是你试图取,,悦于每一个人!,,,Bill Cosby,,客户分群,客户分群,物以类聚,人以群分,客户分群----商业理解,根据目前业务的需要，首先

8、对公众客户进行价值分析。,,,根据各公众客户的价值，结合客户的使用行为，对客户进行分群，便于市场人员针对不同客户群体制定合适的市场策略，取得提升、保留目标客户群的实质性效果。,,,确定工作计划,,客户价值,,,账单收入＋结算费用,－成本,,由于目前客户成本无法计算，所以暂时考虑账单收入和结算费用。,,帐单收入,,普通电话和小灵通后付费帐单收入,,小灵通预付费帐单收入,,宽带收入,,卡通话费用折算(目前出帐帐单不含此项，需从卡话单中统计),,结算费用,,一般通话结算费用,,智能网结算费用,,客户分群----商业理解,客户分群----商业理解,注：以,上杭州数据截止。,,基准客户群,,公众客户:,

9、,当前在网：,,入网超过3个月:,,拥有,,在网,,非公免,,甲种用户,,入网满三个月,,普通电话、小灵通、普通电话和小灵通1～4部,,客户分群----数据理解,理解数据仓库的基本数据信息,：,,公众客户基本信息,,公众用户基本信息,,公众用户(固话)帐单信息,,公众宽带用户帐单信息,,公众用户本地通话信息,,公众用户长途通话信息,,公众用户卡通话信息,,公众用户结算信息,,,数据仓库,客户分群----数据准备,变量设计,,,,数据探索,,,变量选择,,变量设计,变量设计,,,,A.客户基本信息,,,B.客户价值信息,,,C.客户行为信息,,价值、行为变量,客 户,竞争行为,（月平均呼叫移动

10、次数、非电信,IP,不同运营商个数……,呼叫行为,（传统长途月平均呼叫次数、,IP,长途呼叫趋势……）,缴/欠费信息,（按时缴费次数、平均每次欠费时长……）,客户接触记录,（10000号呼叫次数、业务受理比率,……）,产品拥有,（是否拥有,IP,语音服务、拥有号线个数……）,在网时长,（成为电信客户时长）,收入,（月平均区内费趋势、总跳表费用趋势、,IP,费用比例……,数据业务使用行为,（月平均拨号时长、平均每天上网时长……）,行为,价值,行为,价值,行,为,价值,行为,行为,客户分群----数据准备,变量设计,,,,数据探索,,,变量选择,,数据探索,,主要目标,,,通过图形化呈现工具和其他

11、的统计方法对数据质量、数据分布有较全面的理解，最终选择建立模型的数据记录和数据属性奠定基础。,,主要手段,,值分析,,统计分析,,柱状图分析,,频次分析,,其他,值分析,变量名,记录数,NULL值,不同值个数,空格个数,零值个数,正值,负值,v_avg_phs_ipld_int_fee,85154,0,56,0,85094,60,0,v_avg_phs_tld_int_fee,85154,0,85,0,85057,97,0,v_avg_phs_ld_int_fee,85154,0,118,0,85021,133,0,v_fix_ipld_int_fee_trd,85154,0,565,0,84

12、512,334,308,v_200_ld_chg_trd,85154,0,658,0,84290,342,522,v_200_lc_chg_trd,85154,0,464,0,84401,360,393,v_200_chg_trd,85154,0,959,0,83828,542,784,v_fix_tld_int_fee_trd,85154,0,965,0,83907,605,642,v_avg_fix_ipld_int_fee,85154,0,425,0,84511,643,0,v_avg_fix_dis_fee_rt,85154,0,5760,0,72429,732,11993,v_avg

13、_fix_dis_fee,85154,0,6355,0,72429,733,11992,v_200_lc_chg_fluc,85154,0,277,0,84401,753,0,v_avg_200_lc_chg_all_rt,85154,0,585,0,84401,753,0,v_avg_200_lc_chg,85154,0,232,0,84401,753,0,统计分析,变量名,记录数,最小值,最大值,均值,标准差,众数,取众数值个数,取众数值占比,v_avg_phs_ld_int_fee,85154,0,37381,4.07206,254.2262,0,85021,99.84％,v_fix_i

14、pld_int_fee_trd,85154,-787.32,637.54,0.00108,6.30476,0,84512,99.24％,v_avg_fix_ipld_int_fee,85154,0,102480,26.05267,799.6381,0,84511,99.24％,v_200_lc_chg_fluc,85154,0,12.25,0.08696,0.9633,0,84401,99.11％,v_avg_200_ld_chg_all_rt,85154,0,0.6837,0.00103,0.01542,0,84290,98.98％,v_avg_200_ld_chg,85154,0,2100

15、3.17,7.04395,192.3413,0,84290,98.98％,v_200_ld_chg_fluc,85154,0,12.25,0.10362,1.06177,0,84290,98.98％,v_avg_fix_tld_int_fee,85154,0,148626.7,39.48853,1046.238,0,83907,98.53％,v_fix_tld_int_fee_trd,85154,-1015.84,529.11,-0.03426,9.01527,0,83907,98.53％,v_200_chg_trd,85154,-418,310.56,-0.07828,3.32384,0,8

16、3828,98.44％,v_200_chg_fluc,85154,0,12.25,0.15303,1.27241,0,83828,98.44％,v_avg_200_chg,85154,0,22642.83,11.11534,240.9923,0,83828,98.44％,v_avg_fix_ld_int_fee_rt,85154,0,0.9817,0.0043,0.04455,0,83476,98.02％,v_avg_fix_ld_int_fee,85154,0,148626.7,65.5412,1366.096,0,83476,98.02％,v_fix_ld_int_fee_trd,8515

17、4,-1015.84,645.05,-0.03319,10.72853,0,83476,98.02％,柱状图分析,用户的收入主要集中在20至80元，占80%以上用户数,其他,杭州西湖区某客户，3部固定电话，近三月平均用卡通话次数1926次！！！,主叫号码,被叫号码,接入码,通话开始时间,实际通话时长,88162525,88866533,96201,2004-11-2 13:17,48,88162525,88477867,96201,2004-11-1 15:31,200,88162525,85805204,96201,2004-11-1 15:23,70.4,88162525,87632232

18、,96201,2004-11-1 15:22,52.1,88162525,88808310,96201,2004-11-1 15:14,50.7,88162525,13355711081,96201,2004-11-1 13:07,51.6,88162525,87582059,96201,2004-11-1 12:57,203.7,88162525,13905819155,96201,2004-11-1 12:53,87,88162525,87240866,96201,2004-10-29 16:13,84.8,88162525,13805714854,96201,2004-10-29 16:

19、05,75.5,88162525,87217881,96201,2004-10-29 16:04,6.2,88162525,87217881,96201,2004-10-29 16:03,12.5,88162525,13857173355,96201,2004-10-29 15:56,27,88162525,677372870,96201,2004-10-29 15:48,429,88162525,13391010110,96201,2004-10-29 14:46,77.7,88162525,13606641733,96201,2004-10-29 14:44,57.8,主叫号码,被叫号码,

20、接入码,通话开始时间,实际通话时长,88254348,13805714854,96201,2004-11-19 10:49,36.4,88254348,13906551056,96201,2004-11-18 16:28,56.3,88254348,85353396,96201,2004-11-18 16:23,52.9,88254348,13858063336,96201,2004-11-18 16:21,20.5,88254348,85804753,96201,2004-11-18 16:18,77.2,88254348,13600518404,96201,2004-11-18 16:17

21、,19.8,88254348,85804753,96201,2004-11-18 16:16,21.5,88254348,27860541,96201,2004-11-18 16:11,176.2,88254348,85804800,96201,2004-11-18 16:08,150.9,88254348,85675245,96201,2004-11-18 15:59,27.4,88254348,85353396,96201,2004-11-18 15:57,24.7,88254348,13355711081,96201,2004-11-18 15:55,123.1,88254348,139

22、05819155,96201,2004-11-18 15:52,57.7,88254348,13905819155,96201,2004-11-18 15:51,40.1,88254348,88368155,96201,2004-11-18 13:14,197.5,88254348,13396817860,96201,2004-11-17 15:19,139.8,主叫号码,被叫号码,接入码,通话开始时间,实际通话时长,88254444,2210319,96201,2004-10-13 15:17,61.1,88254444,13003613991,96201,2004-10-13 15:12,

23、33.6,88254444,2210189,96201,2004-10-13 14:30,20.9,88254444,2227713,96201,2004-10-13 14:21,334.8,88254444,2227713,96201,2004-10-13 14:20,49.3,88254444,2210189,96201,2004-10-13 14:15,83.7,88254444,4225190,96201,2004-10-13 13:36,115.4,88254444,114,96201,2004-10-13 13:35,22.5,88254444,87048376,96201,200

24、4-10-13 12:12,49,88254444,87049576,96201,2004-10-13 12:12,27.1,88254444,85610873,96201,2004-10-13 12:03,84.6,88254444,2210319,96201,2004-10-13 11:17,21.3,88254444,85384102,96201,2004-10-13 11:05,43.6,88254444,85384102,96201,2004-10-13 10:45,314.6,88254444,85384116,96201,2004-10-13 10:44,18.2,8825444

25、4,89180139,96201,2004-10-13 10:20,343.7,高帐单收入用户对电信的贡献不一定高,杭州桐庐县小灵通用户C,,当月帐单金额,493.66,元,,发话网通通话,25,次，受话网通通话,5,次，结算费用－,473.04,元，损失,473.04,元,!!!!,,,建德市新安江镇普通用户,D,,当月帐单金额,318.00,元,,拨打,168,结算费用,-255.00,元，损失,255.00,元,!!!!,,注：以,上杭州数据帐务月为2004年10月,低帐单收入用户对电信的贡献不一定低,目前，电信衡量用户贡献度的主要指标是帐单收入，即用户以发话方或发话费用给电信带来的收入

26、,,杭州西湖区普通电话用户 A,,当月帐单金额16.40元,,使用96201卡1143次，通话费用684.42元，按6折算，贡献410.65元!!!!,,建德市新安江镇小灵通用户B,,当月帐单金额25.05元,,受话网通通话60次，结算费用334.53元，贡献334.53元!!!!,注：以,上杭州数据帐务月为2004年10月,客户分群----数据准备,变量设计,,,,数据探索,,,变量选择,,变量选择,,应结合业务意义、分群目的和数据质量来选择参与分群的变量：,,,从业务的角度看，无分析意义的变量不建议参与分群；,,取值个数较少、离散的变量及数据质量较差的变量不建议参与分群；,,互相之间可以派

27、生(相关性太强)的变量不建议全部参与分群；,,总量和分量不建议一起参与分群。,,客户分群----建立模型,建模工具：,,,TERADATA WAREHOUSE MINER (Clustering),,算法：,,,a.,K-Means,,,b.,高斯混合模型,,,分群个数(7 加减 2),注：利用K均值算法需要先将数据进行标准化处理（Z_Score）,分群结果特征刻画,,,分群模型调优,客户分群----模型评估,注：建立模型和模型评估不是孤立的两个阶段，无法将两个阶段区隔的很清楚,特征刻画,利用TWM聚类结果cluster similarity进行特征刻画,特征刻画,利用透视图进行特征刻画,模型

28、调优,,客户分群是一个螺旋上升，不断优化的过程，判断分群结果是否理想：,,,群内特征是否相似,,群间特征差异是否明显,,分群结果是否具有业务指导意义,,,分群调优可通过调整分群个数及调整分群变量输入来实现,客户分群----模型发布,,确定,客户分群,模型的结果，送到相应的管理人员手中，对,客户分群,模型结果进行应用。,,对,客户分群,模型进行日常的监测和维护,,定期更新,客户分群,模型,,附：,,基于,(MR),市场营销再造的思想，在完成客户行为分群和价值分群的基础上，生成,VB,矩阵，山坡图、战略分群,VB矩阵,价值,,模式1,价值,,模式2,价值,,模式4,行为,,模式3,行为,,模式4,

29、价值,,模式3,行为,,模式1,行为,,模式2,将VB分群结果交叉,山坡图,战略分群,SS1,低值休眠型,,SS2,本地温饱型,,SS3,短途离家型,,SS4,本地预警型,,SS5,本地活跃精明型,,SS6,长途中值型,,SS7,传统长途成长型,,SS8 IP,高值敏感型,,SS9,灵通伴我型,,特征刻画后命名,战略分群特征刻画,战略分群总体特征描述 － SS1,低值休眠型,人数,21103,，占总人数,25,.,20,%。,,总费用,占各客户群总收入的,9.28%,，,ARPU值,最,低,，,为,19,.,56,元,。,,区间（,0.22,元）和长途费用（传统国内长途,0.66,元、传统国际

30、长途,0.01,元、,IP,国内长途,0.10,元）几乎没有，,以区内费为主（,3.32,元，占总收入,16.74%,），但区内费远低于平均值（,12.23,元）；月租费占比最高，为,70.8%,。,,几乎没用优惠！,,总费用有微弱上升趋势。,,缴费周期最长（平均,16,天,/,月）。,,平均欠费金额次最低：,1.16,元。,SS1,,客户分群总体特征描述 － SS8,ＩＰ高值敏感型,人数,3193,，占总人数,3,.,81,%。,,收入占比,7.51%,，,ARPU值,次最高,为,104,.,66,元,,,不含小灵通达,98.62,元。,,区内费用,(27.73,元,),次最高。区间费,(4

31、.68,元,),用较高。区内区间费用下降趋势明显。,,,总长途费用最高,,IP,长途费用最高（,35.54,元,）,,；国际费用最高,(5.76,元,),，但是以,IP,为主,,,且,IP,国际最高（,4.73,元,，平均值,0.55,元） ；有一定的传统长途（,8.91,元,),。所有的长途费用趋势下降。有一定,17908,费用。,201,费用最高，略高于,17908,费用，主要为长途,201,费用。,201,卡和,17908,费用均有下降趋势。电信,IP,接入费最高且远高于他网,IP,。拨打异商,IP,电话较多 ；拨打本地行动较多。简单地说，用,17909,打长途，电信,IP,一族！平均每

32、个用户半年拨打,35,个不同的长途号码。拨打不同长途电话最多。,,享受的总优惠最多。,,总费用下降趋势最明显。,,平均欠费金额接近最高：,6.34,元。,SS8,战略分群分布,群号,人数,人数占比,收入,收入占比,ARPU值,SS1,21,103,25.20%,412,725.24,9.28%,19.56,SS2,19,028,22.73%,560,889.39,12.61%,29.48,SS3,2,632,3.14%,116,503.04,2.62%,44.26,SS4,2,870,3.43%,110,944.87,2.49%,38.66,SS5,7,388,8.82%,429,685.85

33、,9.66%,58.16,SS6,3,730,4.45%,175,541.46,3.95%,47.06,SS7,3,201,3.82%,283,863.51,6.38%,88.68,SS8,3,193,3.81%,334,165.06,7.51%,104.66,SS9,11,379,13.59%,1,404,491.09,31.58%,123.43,合计,74,524,89.01%,3,828,809.51,86.10%,,目录,数据挖掘基本概念,,客户分群,,流失预测,,引言,,,世界是物质的，物质是运动的，运动是,,有规律的，规律是可以认识和利用的,,,,马克思,,流失预测----商业理解

34、,对用户话音收入进行监控，尽早感知用户流失的可能性，在流失前或流失行为的初期阶段就能够有针对性的开展工作，避免进一步的损失；,,,根据目前业务的需要，首先对,公众用户,进行分析,。,,,确定工作计划,,话音收入,,,包括除月租、来显费、信息费等增值业务费以外所有语音通信收入，含上网通信费。,,基准用户群,,公众固话用户,,(普通电话和小灵通，由于小灵通预付费暂无账单，目前主要针对普通电话)；,,当前在网用户；,,非公免用户；,,入网三个月以上用户；,,基准客户群,,基准用户所属的所有客户；,,拥有4部以下固话（普通电话、小灵通）；,,潜在话音收入流失客户,,,客户所属的用户中，至少有一个潜在的

35、话音收入流失用户；,,话音收入流失定义,,月话音收入与前三个月平均话音收入相比下降30%以上；,流失预测----商业理解,流失预测----数据理解,理解数据仓库的基本数据信息,：,,公众客户基本信息,,公众用户基本信息,,公众用户(固话)帐单信息,,公众用户本地通话信息,,公众用户长途通话信息,,,数据仓库,流失预测----数据准备,变量设计,,,,数据探索,,,变量选择,,变量设计,变量设计,,,,A.客户(用户)基本信息,,,B.用户价值信息,,,C.用户行为信息,,价值、行为变量,用户,竞争行为,（月平均呼叫移动次数、非电信,IP,不同运营商个数……,呼叫行为,（传统长途月平均呼叫次数…

36、…）,缴/欠费信息,（按时缴费次数、平均每次欠费时长……）,客户接触记录,（10000号呼叫次数、业务受理比率……）,产品拥有,（是否拥有,IP,语音服务、拥有号线个数……）,在网时长,（成为电信用户时长）,收入,（月平均区内费趋势、,IP,费用比例……,价值,行为,价值,行为,价值,行为,行为,流失预测----数据准备,变量设计,,,,数据探索,,,变量选择,,数据探索,,主要目标,,,通过图形化呈现工具和其他的统计方法对数据质量、数据分布有较全面的理解，最终选择建立模型的数据记录和数据属性奠定基础,。,,主要手段,,值分析,,统计分析,,柱状图分析,,频次分析,,其他,27%用户8月份话音

37、收入比7月份下降30%以上,注：以,上杭州数据截止2004.8.21.,高收入段的用户流失率也高,一旦流失，少有回头,公众普通电话用户,,2004年3月到8月在网；,,三月的话音收入[20,300]（元）,,共：400533用户,,M3,M4,M5,M6,M7,M8,38%,69%,79%,83%,89%,M3,三月份为基准月，共400533普通电话用户，占24%，话音收入占65%;,,四月份话音收入比三月份下降30%者(M4)占目标群的38%;,,M4中，69%在五月份话音收入继续保持比三月份下降30%(M5)；,,这样的比例，在6,7,8分别达到,79%,83%,89%；,,启示：,,一旦

38、下降，后续月份很少反弹；,,如果本月比上月相比下降了,30%,以上，则应该立即有所行动；,,如果需要对将要流失的用户实施预见性的市场保育工作，那么关键是要预测下月将要流失的用户；,话音收入下降要警惕,,本月话音收入比近三个月话音收入下降20%以上的用户，流失率开始明显高于平均流失率；,,传统长话收入与流失,近三个月传统长话收入较高的用户，流失率相对较高；,,在,近三个月传统长话收入大于,12,元的用户群中，流失率比平均流失率高,10,个百分点；,入网时长与流失,入网时间小于三年的用户，流失率略高于平均流失率，而且入网时间越短流失率越高；,流失预测----数据准备,变量设计,,,,数据探索,,,

39、变量选择,,变量选择,,应结合数据探索(变量分析)和数据质量来选择参与预测建模的变量：,,,变量分析时各分段组内流失率与平均流失率相近的变量不参与建模；,,,相关性太强(各分段组内流失率相近)的变量不建议参与预测建模；,流失预测----建立模型,注：采样比例不一定都是50%，视数据量而定,建模工具,,TERADATA WAREHOUSE MINER（DECISION TREE),,,采样,,训练集：50%,,测试集：50%,流失预测----模型评估,使用模型对八月的用户数据进行评分，得到每个用户在九月的流失倾向分值；使用模型对九月的用户数据进行评分，得到每个用户在十月的流失倾向分值；,,使用用户在九月、十月实际的流失情况，来评估模型预测结果在未来一个月、两个月的命中率；,,主要的关注点：模型评分分值较高的若干用户中，实际的命中率；用户数的一般取法：,,占总用户群10%的用户；,,根据市场需要，关注评分靠前的1000、5000、10000、20000或50000个用户；,验证数据：9月,流失预测----模型发布,,确定,流失预测,模型的结果，送到相应的管理人员手中，对,流失预测,模型结果进行应用。,,,对,流失预测,模型进行日常的监测和维护,,,定期更新,流失预测,模型,,?????,?,！！！！,谢谢,