0数据分析概述

《0数据分析概述》由会员分享，可在线阅读，更多相关《0数据分析概述（46页珍藏版）》请在装配图网上搜索。

1、 数 据 分 析 山东交通学院山东交通学院 李晓燕李晓燕数据分析先导课概率论与数理统计并行课后续课数据挖掘技术 Matlab 及应用数学模型与实验数数学学/数据数据建模竞赛建模竞赛数据分析师数据分析师2022-11-8 内容及学时安排内容及学时安排 数据描述性分析数据描述性分析 1023456 报告报告 2+2 7聚类分析聚类分析 8 判别分析判别分析 8 主成分与典型相关分析主成分与典型相关分析 8回归分析回归分析 12MABLAB基础基础 81 参考资料参考资料2022-11-8MATLABMATLAB软件实现软件实现SASSASR RSPSSSPSS2022-11-8CDACDA数据分析

2、师数据分析师 I级培训教材经管之家经管之家http:/bbs.pinggu.org/forum.php?gid=1http:/bbs.pinggu.org/forum.php?gid=1统计之都统计之都http:/cos.name/http:/cos.name/在线课程资源2022-11-8中国大学慕课在线开放课程http:/www.icourse163.org/course/JSETI-1001754246腾讯课堂 https:/ http:/ 布置作业提交作业2022-11-8考核方式n考核：考核：平时平时50%+50%+期末期末50%50%期末成绩：闭卷笔试期末成绩：闭卷笔试+上机考试上

3、机考试 平时成绩：作业平时成绩：作业40%+40%+课堂表现课堂表现20%+20%+课程报告课程报告40%40%n课程作业课程作业 实验报告实验报告/纸质作业纸质作业n课堂表现课堂表现 考勤考勤/课堂提问课堂提问/随堂测验随堂测验/上机演示上机演示/知识分享知识分享2022-11-8n课程报告：课程报告：（1 1）组队）组队2-32-3人，调研，选题；人，调研，选题；（2 2）收集数据，数据处理；）收集数据，数据处理；（3 3）数据建模；）数据建模；（4 4）提交论文占）提交论文占6060分；分；（5 5）答辩占）答辩占4040分：分：10-2010-20分钟，分钟，2-32-3个问题；个问题

4、；（6 6）评分：老师）评分：老师70%+70%+学生学生30%30%2022-11-8n应知应会：n掌握各种方法的原理和应用范围，会建立模型；掌握各种方法的原理和应用范围，会建立模型；n用用MatlabMatlab等软件进行统计分析，熟悉输出结果，进行解释。等软件进行统计分析，熟悉输出结果，进行解释。n建议：“师傅领进门，修行在个人师傅领进门，修行在个人”。n理论应用并重：理论重点是理论应用并重：理论重点是思路思路，应用重点是，应用重点是实践实践 n重视练习：重视练习：做练习做练习加深理解，加深理解，勤操作勤操作熟悉软件熟悉软件 n不缺课：内容前后呼应，缺课不利学习不缺课：内容前后呼应，缺课

5、不利学习 2022-11-8数据分析概述2 课程体系及应用1 数据分析的概念3 统计学产生及发展5 数据的分布4 常用软件及应用2022-11-8你想过下面的问题吗？你想过下面的问题吗？n如何对成绩进行评价？如何对成绩进行评价？n比较成绩差异？比较成绩差异？n找出特长生？找出特长生？n各科成绩间关联性？各科成绩间关联性？npnnppxxxxxxxxx212222111211X某年级抽某年级抽6 6名学生名学生5 5 门课期末成绩门课期末成绩序号序号 政治政治 语文语文 外语外语 数学数学 物理物理 1 99 94 93 100 100 2 99 88 96 99 97 3 100 98 81

6、96 100 4 93 88 88 99 96 5 100 91 72 96 78 6 75 73 88 97 89数据分析是以各变量数据分析是以各变量n n次观次观测组成的测组成的数据数据矩阵为依据矩阵为依据,依实际问题需要进行分析依实际问题需要进行分析数据矩阵“数据！数据数据！数据!数据数据!”、“我不能做无米之我不能做无米之炊！炊！”Sherlock福尔福尔摩斯摩斯2022-11-8 1.数据分析的概念 以以数据数据为依据，以为依据，以统计方法统计方法为理为理论、计算机及统计论、计算机及统计软件软件为工具，挖掘为工具，挖掘数据统计规律。数据统计规律。2022-11-8数据分析研究的过程研

7、究设计研究设计收集数据收集数据解释分析解释分析整理分析整理分析通过通过收集收集-整理整理-分析数据分析数据，提取有用信息并形成结论，提取有用信息并形成结论，发挥数据资料功能和作用。发挥数据资料功能和作用。2022-11-81.2 数据的来源与分类搜集渠道一手数据一手数据 专门调查或试验专门调查或试验直接得到直接得到二手数据二手数据 媒体、机构发布媒体、机构发布间接得到间接得到收集方式观测数据观测数据 不可控制条件下不可控制条件下被动收集被动收集试验数据试验数据 可控条件下可控条件下主动收集主动收集数据维度时间序列数据时间序列数据按时间顺按时间顺序收集的数据，时间维度序收集的数据，时间维度横截面

8、数据横截面数据同一时间点同一时间点不同对象的数据，个体维度不同对象的数据，个体维度2022-11-8 2 2 课程体系及应用课程体系及应用 大部分学科都涉及数据分析工作，因此数据分大部分学科都涉及数据分析工作，因此数据分析几乎可与任一学科结合起来。析几乎可与任一学科结合起来。如生物统计如生物统计(biostatistics)(biostatistics)、经济计量学、经济计量学(econometrics)(econometrics)、生物信息、生物信息(bioinformation)(bioinformation)和和数据挖掘数据挖掘(Data Mining)(Data Mining)的方法主

9、体都是统计。的方法主体都是统计。数据分析方法SPSS聚类分析分类问题支持向量机决策树关联规则协同过滤神经网络随机森林数据挖掘技术数字特征假设检验各种图描述性统计hadoopsparkmahouthifs聚类 stormmapreduce kafka大数据分析分类数理统计分析聚类分析回归分析相关分析判别分析主成分分析方差分析多元统计随机事件参数估计数字特征概率统计随机变量2022-11-8概率统计概率统计描述性分析描述性分析参数估计参数估计假设检验假设检验方差分析方差分析回归分析回归分析典型相关分析典型相关分析主成分分析主成分分析典型相关分析典型相关分析聚类分析聚类分析判别分析判别分析多元统计的

10、理论基础多元统计的理论基础多元数据的统计推断多元数据的统计推断变量间的相互关系变量间的相互关系简化数据结构简化数据结构(降维问题降维问题)分类与判别分类与判别(归类问题归类问题)本课程体系2022-11-8 数据分析应用领域 1.教育学教育学7.服装工业服装工业2.医学医学8.经济学经济学3.气象学气象学9.农业农业4.环境科学环境科学10.社会科学社会科学5.考古地质考古地质11.文学文学6.生物学生物学12.其他其他基因鉴定基因鉴定种群分类种群分类成绩预测成绩预测 分类排名分类排名诊断病例诊断病例药物研究药物研究天气预报天气预报灾情预防灾情预防环境监测环境监测 污染治理污染治理矿产预测矿产

11、预测考古断代考古断代服装设计服装设计型号确定型号确定灌区分类灌区分类品种筛选品种筛选信用评价信用评价经济决策经济决策青少年青少年犯罪研究犯罪研究 虚词频数虚词频数鉴定作品鉴定作品交通体育交通体育军事军事心理学心理学3.气象学气象学-天气预报雷达图天气预报雷达图http:/ 10.10.社会科学社会科学-美国总统大选美国总统大选 n19361936年大选：年大选：Alf LondonAlf London F.D.R F.D.R?nLiterary DigestLiterary Digest(文摘文摘)送出一千万份问卷送出一千万份问卷(返回返回240240万份万份),),预预测测LondonLon

12、don赢赢.nGallop(Gallop(盖洛普盖洛普)只问了只问了50005000人说人说 Roosevelt(Roosevelt(罗斯福罗斯福)会赢会赢.n最后罗斯福和盖洛普都赢了最后罗斯福和盖洛普都赢了.文摘文摘倒闭了倒闭了.n20162016年大选：年大选：希拉里希拉里 特朗普特朗普 n2016.10.14-202016.10.14-20日民调显示，希拉里日民调显示，希拉里44%40%44%40%。n2016.11.92016.11.9日，特获日，特获276276票，逆袭成功当任第票，逆袭成功当任第4545任总统。任总统。2022-11-8 大数据巫师：Nate Silver 内特希尔

13、瓦 预测 特朗普失败特朗普失败 获党内提名可能性2%希拉里获胜希拉里获胜 在67.3%情况下 原因 沉默的大多数胜利沉默的大多数胜利 特观点代表中和下层人 民利益，没有话语权，被网络忽视的人群 人心难测人心难测 大数据预测不到人心，看到的是表面现象而已 成功预测2008年和2012年美国大选 依靠的技术叫贝叶斯理论：P(A|B)用t-分布对波动建模2022-11-8n主成分分析n大学排名：敏感问题。如何理解大学排名：敏感问题。如何理解不同机构不同机构不同结果呢？不同结果呢？n学生成绩综合评价学生成绩综合评价 n公司信用评价：如何根据财务和商业资料来判断一个公司的公司信用评价：如何根据财务和商业

14、资料来判断一个公司的信用等级呢？信用等级呢？n聚类分析与判别分析n东部和西部概念比较笼统，如何选择指标来把各省东部和西部概念比较笼统，如何选择指标来把各省/市市/县进县进行分类？行分类？nDNADNA鉴定鉴定/蝴蝶的分类蝴蝶的分类 n确定红楼梦前四十和后四十回是确定红楼梦前四十和后四十回是否曹雪芹一人写？否曹雪芹一人写？其他应用举例其他应用举例 2022-11-8n相关分析n高中成绩和大学成绩是否密切相关？地震与油价上涨有关？高中成绩和大学成绩是否密切相关？地震与油价上涨有关？n水质污染和那些因素有关？如何确定重金属污染源？水质污染和那些因素有关？如何确定重金属污染源？n回归分析n电影票房影响

15、因素有哪些？电影票房影响因素有哪些？n客户流失分析客户流失分析n如何设计调查问卷，收集数据，调查大学生喜欢的手机品牌如何设计调查问卷，收集数据，调查大学生喜欢的手机品牌?2 课程体系及应用课程体系及应用2022-11-8社会经济统计数理统计政治算术国势学派n最早流派之一。创始人德国康令最早流派之一。创始人德国康令(H.Conring 1606-(H.Conring 1606-81)81)和阿享瓦尔和阿享瓦尔(G.Achenwall 171972).(G.Achenwall 171972).采用文字采用文字记述形式，把重要事项系统整理罗列记述形式，把重要事项系统整理罗列(报表报表).).n创始人

16、格朗特创始人格朗特(J.Graunt 162074)(J.Graunt 162074)和威廉和威廉.配第配第(W.Petty 1623-87)(W.Petty 1623-87)。主张以数字、重量和尺度来。主张以数字、重量和尺度来说话，用图表形式概括数字资料说话，用图表形式概括数字资料.n创始人比利时凯特勒创始人比利时凯特勒(L.A.J.Quetelet 1796-(L.A.J.Quetelet 1796-74),74),产生产生1919世纪中，把概率论引进统计学世纪中，把概率论引进统计学,为统为统计数量分析奠定数理基础计数量分析奠定数理基础(数学统计学院数学统计学院).).n代表人恩格尔代表人

17、恩格尔(1821-96)(1821-96)和梅尔和梅尔(1841-1925).19(1841-1925).19世世纪后兴起德国纪后兴起德国,融会国势和政治算术学派观点融会国势和政治算术学派观点,把政把政府统计和社会调查融合起来府统计和社会调查融合起来,形成社会经济统计学形成社会经济统计学,影响较大影响较大.(.(经济管理学院经济管理学院).).3 统计学的发展与其他学科关系统计学的发展与其他学科关系统计学的产生统计学的产生:17世纪中叶，英国威廉配第世纪中叶，英国威廉配第政治算术政治算术问世问世.2022-11-8 3 统计学的发展统计学的发展历史上著名的统计学家历史上著名的统计学家C.R.劳

18、教授（劳教授（1920-）2022-11-8统计学与数学的关系统计学与数学的关系n数学思维以数学思维以演绎演绎为主为主 n每个人都要死的每个人都要死的n苏格拉底是人苏格拉底是人n所以苏格拉底要死的所以苏格拉底要死的 -数学的思维过程数学的思维过程n统计各领域利用几乎所有数学统计各领域利用几乎所有数学;n但统计本身的数学为具体目标但统计本身的数学为具体目标服务服务,一般不形成数学体系一般不形成数学体系。n 统计以统计以归纳归纳为主为主,兼有演绎兼有演绎n 路口每过去路口每过去2020辆小轿车，有辆小轿车，有100100辆自行车通辆自行车通过过n 平均每平均每1010个轿车载个轿车载1212n 于

19、是你认为小轿车和自行车于是你认为小轿车和自行车在路口运载能力为在路口运载能力为24:10024:100 -典型的统计思维过程典型的统计思维过程2022-11-8统计学与计算机的关系统计学与计算机的关系n最初计算机仅仅是为最初计算机仅仅是为科学计算科学计算而设计和建造的。而设计和建造的。n统计是统计是大型计算机大型计算机最早用户最早用户，由于统计和数据打，由于统计和数据打交道交道,没有计算机的发展统计就没有前途没有计算机的发展统计就没有前途.n计算机和统计的发展计算机和统计的发展相辅相成相辅相成2022-11-8统计学与数据挖掘的关系统计学与数据挖掘的关系统计学统计学n内容上内容上n假设检验和参

20、数估计n时间上时间上n统计学是经典学科。n研究优势研究优势统计学科的数据挖掘侧重于算法理论和技算法理论和技术应用术应用数据挖掘数据挖掘n内容上内容上n分析数据中的结构、模式并产生特定形式的信息，是统计学的补充和扩展。n时间上时间上n计算机和大数据催生的新学科n研究优势研究优势计算机学科的数据挖掘侧重算算法开发和软件实现法开发和软件实现都是数据分析处理技术。依托学科背景，从各都是数据分析处理技术。依托学科背景，从各自优势角度做同一件事自优势角度做同一件事2022-11-8ExcelSPSSRMATLABSAS数据分析功能强大，统计分析领域巨无霸。全数据分析功能强大，统计分析领域巨无霸。全球球10

21、0强强91家用家用SAS。需一定编程技术，价高。需一定编程技术，价高科学计算以编程为主软件科学计算以编程为主软件,应用广泛应用广泛,有统计包。有统计包。免费开源免费开源,编程方便编程方便,可从网上下载软件包和程可从网上下载软件包和程序。学统计用的多，主要问题没有序。学统计用的多，主要问题没有“傻瓜化傻瓜化”易操作易操作,功能全功能全,价格低。非统计工作者的选择价格低。非统计工作者的选择数据表格软件数据表格软件,画图和简单统计分析功能（需画图和简单统计分析功能（需装数据分析功能）装数据分析功能）4 常用统计软件介绍python免费开源免费开源,编程方便。代码易读、易维护。丰富编程方便。代码易读、

22、易维护。丰富的扩展库，可以轻易完成各种高级任务。的扩展库，可以轻易完成各种高级任务。2022-11-8FORTRANGAUSSEviewsS-PLUSArcGisn地理信息处理软件，空间统计分析地理信息处理软件，空间统计分析nMinitab、Statistica:功能强大齐全,“傻瓜化”,不普遍。n处理回归和时间序列的软件理回归和时间序列的软件n应用广、历史长、速度快、功能强、有统计应用广、历史长、速度快、功能强、有统计包。需编程，操作不易包。需编程，操作不易。4 常用统计软件介绍搞经济的喜欢，编程强。中国用的不多搞经济的喜欢，编程强。中国用的不多332022-11-85 常见参数分布及数字特

23、征u一维总体分布一维总体分布u 常用的参数分布类型常用的参数分布类型需要认真复习！需要认真复习！342022-11-8分布函数分布函数)()(),2,1()(xfXxxfipxXPXpxXPxFxiixxii密度连续，离散，分布d5.1 5.1 一维总体分布一维总体分布352022-11-8,)(,10pXPFpppp总体p分位数 数字特征数字特征 变异系数方差数学期望或22)()()()()(EXXEXDXVarpxxxxfEXiid5.1 5.1 一维总体分布一维总体分布2022-11-8置信区间置信区间-置信区间置信区间372022-11-8（1 1）正态分布）正态分布),(2NX222

24、)(exp21)(xxf2,DXEX .密度密度 5.2 5.2 常用的参数分布类型常用的参数分布类型382022-11-8（2 2）对数正态分布）对数正态分布 .0,0,2)(log(exp)(21)(22xxxxxf背景背景：如一变量可看成许多独立因子之积，近似正如一变量可看成许多独立因子之积，近似正态分布态分布.如股票投资长益可看成每天收益率的乘积如股票投资长益可看成每天收益率的乘积.（3 3）指数分布）指数分布 背景背景：产品失效是偶然失效时产品失效是偶然失效时,寿命服从指数分布寿命服从指数分布,失效失效率与时间无关率与时间无关.从任一时刻算寿命服从相同指数分布从任一时刻算寿命服从相同

25、指数分布.xxxxf,0,exp1)(EX2DX392022-11-8（4 4）GammaGamma分布分布 背景背景：表示早期、偶发、耗损失效等不同寿命分布，比表示早期、偶发、耗损失效等不同寿命分布，比指数、正态分布更具普遍性。适用于各种形式的分布指数、正态分布更具普遍性。适用于各种形式的分布.,0,0,exp)(1)(1xxxxxf，EX2DX,（5 5）WeibullWeibull分布分布 背景背景：瑞典物理学家瑞典物理学家Wallodi WeibullWallodi Weibull于于19391939年引进，年引进，是可靠性分析及寿命检验的理论基础是可靠性分析及寿命检验的理论基础.0,

26、0,exp1)(1xxxxxfcc，)11(cEX22)11()12(ccDX402022-11-8（6 6）BetaBeta分布分布 背景背景：取值在一有限区间的分布取值在一有限区间的分布,可当作取值在区间可当作取值在区间总体的概率模式总体的概率模式.therxBxxxfo,00,),()()(111）（）（122DX，EX）（）（122DX412022-11-8抽样分布抽样分布二项分布二项分布:nkppCkXPpnBXknkkn0,)1(),(泊松分布泊松分布:均匀分布均匀分布:,2,1,!),(kkekXPXkbxaabxfba1)(,0,01,0,)2(21)(222/xnxexnxf

27、xnn212)1()2()2/)1()(),(/nntnnnthntnYXt,0,)1)(2()2()2)(2()(),(/2212112212121212111xxnnnnxnnnxnnFnVnUFnnnn 分布分布:2 分布分布:t 分布分布:F422022-11-8样本分布举例样本分布举例)1()1(222nSn)1(nS/-Xnt,)1,1(/2122222121nnFSSF 分布分布:2 分布分布:t 分布分布:FnXXXNX,),(2,12，样本样本nxxx,2,1nxxnii/)(11)(122nxxsnii方差方差2022-11-8复习概率论与数理统计知识复习概率论与数理统计知

28、识1.1.分布函数、概率密度分布函数、概率密度2.2.常见分布常见分布F F、t t、正态分布密度、正态分布密度3.3.数字特征数字特征 期望、方差期望、方差4.4.置信区间置信区间5分钟课堂-布尔家族布尔布尔 1815-1815-（George BooleGeorge Boole）妻子妻子（Mary Everest）叔叔叔叔乔治艾佛斯特曾任印度大地测量局总测量师，英国殖民者用艾佛斯特(Everest)命名珠穆拉玛峰小女小女艾捷尔艾捷尔丽莲丽莲伏尼伏尼(Ethel Lilian Voynich)牛虻作者长女长女玛丽玛丽爱伦爱伦（Mary Ellen）和数学家Charles Howard Hin

29、ton结婚长子长子George Hinton采矿工程师 儿子儿子William Howard Hinton 中文名韩丁，农学家、记者、马克思主义者。著名作品翻身。儿儿子子Howard Everest Hinton。昆虫学家，英国皇家学会会士。次女次女长子是数学家四子四子Sebastian 二子二子Eric 三子三子William 女儿女儿Joan Chase Hinton 中文名寒春，杨振宁同学，曼哈顿计划女科学家。1948年来延安,从事奶牛养殖工作,北京第一位中国绿卡获得者。儿子儿子 1947-1947-杰佛瑞杰佛瑞艾佛斯艾佛斯特特辛顿辛顿(Geoffrey Geoffrey Everest

30、 HintonEverest Hinton)。人工智能复兴标志性人工智能复兴标志性人物、深度学习教父人物、深度学习教父2022-11-81.1.2 多元统计分析研究内容和方法多元统计分析研究内容和方法 n1.多元统计的理论基础多元统计的理论基础n多维随机向量及多维正态随机向量及由此定义的各种多元统计量，推导其分布并研究性质、抽样分布理论概率论与数理统计、数据描述性分析.n2.多元数据的统计推断多元数据的统计推断n参数估计和假设检验问题.特别是多元正态分布的均值向量及协方差阵的估计和假设检验等问题数据描述性分析等.n3.变量间的相互关系变量间的相互关系n1）相互依赖关系：分析一或多个变量是否依赖

31、于另一些变量的变化，建立变量间定量关系式，用于预测或控制回归分析，方差分析.n2）两组变量间关系：分析两组变量间相互关系典型相关分析.n4.简化数据结构（降维问题）简化数据结构（降维问题）n通过变换将相关变量变为不相关的；高维数据投影到低维空间，简化问题又不损失太多信息主成分分析、因子分析、典型相关分析.n5.分类与判别（归类问题）分类与判别（归类问题）n将考察变量或样品按相似程度分类聚类分析、判别分析.2022-11-81.1.2 多元统计分析的应用及选题参考多元统计分析的应用及选题参考n1.教育学教育学n学生成绩分析和预测.由高考成绩和高中成绩关系,预测高考成绩；按成绩进行分类(按文理科,

32、总成绩),排名.n2.医学医学n根据检查数据或病例资料诊断病例.n3.气象学气象学n由气象站资料(雨量,气温,气压,湿度,风速等)做统计分析，进行天气预报.n4.环境科学环境科学n分析污染气体浓度,布局监测点,污染治理.n5.地质、考古学地质、考古学n处理地质观测数据，进行矿产预测、矿产构造解释、部署勘探工程。考古断代等.n6.休闲娱乐休闲娱乐n电影票房、购物网站.n7.服装工业服装工业n抽样调查人体几十个部位尺寸数据,进行统计分析,决定服装各型号及比例.n8.经济学经济学n宏观经济、微观经济的应用.n9.农业农业n农业灌区分类，农机分类等.n10.社会科学社会科学n调查研究青少年犯罪各因素间的相互关系及变化规律,进行预防.n11.文学作品鉴定文学作品鉴定n复旦统计系李贤平使用聚类,主成分,相关分析,选10个与情节无关的虚词为变量,统计每回虚词出现频数,分析证明前80回为曹雪芹写,后40回他人所写.n12.其他其他 n体育科研,军事科学,生物学,心理学,生态学,保险,火警预报,地震预报等.