统计学相关与回归分析课件

《统计学相关与回归分析课件》由会员分享，可在线阅读，更多相关《统计学相关与回归分析课件（92页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,,,0,,2024/12/13,1,第八章 相关与回归分析,第一节,相关与回归分析的基本概念,,第三节,,一元线性回归分析,,第四节,,多元线性回归分析,,,【,学习目标,】,通过对本章的学习，重点掌握回归分析的估计和检验方法；掌握相关分析的种类及三种相关系数的计算方法；在此基础上能够运用相关分析和回归分析的基本方法解释实际社会经济问题。重点与难点：相关系数的计算及其检验；多元线性回归分析。,第五节,,非线性回归分析,,第二节,,相关分析,,第1页/共92页,2023/9/241第八章 相关与回归分析第一节

2、相关与回,2024/12/13,2,第一节 相关与回归分析的基本概念,,（一）函数关系,,一、,相关关系与函数关系,,第八章 相关与回归分析,,函数关系是指现象之间存在着严格的依存关系，亦即当其它条件不变时，对于某一自变量或几个自变量的每一数值，都有因变量的一个的确定值与之相对应，并且这种关系可以用一个确定的数学表达式反映出来。,第2页/共92页,2023/9/242第一节 相关与回归分析的基本概念,2024/12/13,3,第一节 相关与回归分析的基本概念,,（二）统计关系,,一、,相关关系与函数关系,,第八章 相关与回归分析,统计关系不同于函数关系，当重复观测时，观测点不是完全落在统计关系

3、曲线上，而是围绕统计关系曲线散布。统计关系可以表示为确定部分和随机性部分二者之和，这是回归分析的基础。,相关关系,,因果关系,,第3页/共92页,2023/9/243第一节 相关与回归分析的基本概念,2024/12/13,4,案例分析,相关关系与因果关系,一家研究机构有一项惊人的发现：统计数据显示，脚长的儿童拼写能力比脚短的儿童强。,原来他们调查的是一群年龄不同的儿童，脚长的儿童比脚短的儿童年龄大！,赶快回去量一下儿子的脚长,我要把脚拉长一点！,第4页/共92页,2023/9/244案例分析相关关系与因果关系一家研究机构有,2024/12/13,5,⒈,按涉及变量的多少分为,相关关系的种类,⒉

4、,按照表现形式不同分为,⒊,按照变化方向不同分为,,直线相关,曲线相关,,负相关,正相关,,二、相关分析的种类,复相关,单相关,,偏相关,第八章 相关与回归分析,第5页/共92页,2023/9/245⒈按涉及变量的多少分为相关关系的种类⒉按,2024/12/13,6,4.,按相关的程度分为,相关关系的种类,5.,按变量之间因果,关系的方向分为,,完全相关,不完全相关,,不相关,双向因果相关,单向因果相关,,虚假相关,第八章 相关与回归分析,第6页/共92页,2023/9/2464. 按相关的程度分为相关关系的种类5.,2024/12/13,7,第一节,相关与回归分析的基本概念,,第八章 相关与

5、回归分析,三、相关分析与回归分析,,回归分析是关于研究一个叫做因变量的变量对另一个或多个叫做解释变量的依赖关系。,,相关分析是测度两个变量之间的线性关联度的，并用一些指数,(,相关系数,),表示相关程度。,,第7页/共92页,2023/9/247第一节 相关与回归分析的基本概念 第八章,2024/12/13,8,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,三、相关分析与回归分析,,相关分析中,x,与,y,对等，回归分析中,x,与,y,要确定自变量和因变量；,相关分析中,x,、,y,均为随机变量，回归分析中只有,y,为随机变量；,相关分析测定相关程度和方向，回归分析用回归模型进行

6、预测和控制。,区别：,第8页/共92页,2023/9/248第一节 相关与回归分析的基本概念 第八章,2024/12/13,9,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,三、相关分析与回归分析,联系：,,相关分析是回归分析的基础和前提。,回归分析是相关分析的深入和继续。,第9页/共92页,2023/9/249第一节 相关与回归分析的基本概念 第八章,2024/12/13,10,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,四、相关表与相关图,(,一,),简单相关表,,将某一变量按其取值的大小排列，然后再将与其相关的另一变量的对应值平行排列，便得到简单的相关表。,

7、,第10页/共92页,2023/9/2410第一节 相关与回归分析的基本概念 第八,2024/12/13,11,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,,,,,,企业编号,月产量（千吨）,X,生产费用,(,万元,)Y,1,2,3,4,5,6,7,8,1.2,2.0,3.1,3.8,5.0,6.1,7.2,8.0,62,86,80,110,115,132,135,160,八个同类工业企业的月产量与生产费用,第11页/共92页,2023/9/2411第一节 相关与回归分析的基本概念 第八,2024/12/13,12,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,四

8、、相关表与相关图,,(,二,),分组相关表,,,,,单变量分组表,双变量分组表,三变量分组表。,第12页/共92页,2023/9/2412第一节 相关与回归分析的基本概念 第八,2024/12/13,13,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,,1.,单变量分组表,,,,表 某纺织厂工人看管织机台数和时劳动生产率相关表,,第13页/共92页,2023/9/2413第一节 相关与回归分析的基本概念 第八,2024/12/13,14,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,,2.,双变量分组表,,,,表　居住时间与对百货商场的熟悉程度的双变量分组表,,

9、第14页/共92页,2023/9/2414第一节 相关与回归分析的基本概念 第八,2024/12/13,15,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,,3.,三变量分组表,,,,假定对于某项私家车购买意向的调查，最初以教育水平和私家车拥有情况进行分析，对,1000,人调查的结果用二维列联表表示如：,第15页/共92页,2023/9/2415第一节 相关与回归分析的基本概念 第八,2024/12/13,16,第一节,相关与回归分析的基本概念,,第八章 相关与回归分析,,3.,三变量分组表,,,,表　　教育程度和私家车拥有状况的双变量分析,第16页/共92页,2023/9/24

10、16第一节 相关与回归分析的基本概念 第八,2024/12/13,17,第八章 相关与回归分析,,,从上表中可以看出，文化程度越高的人拥有私家车的比例越高，这和实际情况不太相符，于是我们引入收入变量，作三变量的交叉列表分析：,教育程度、收入与私家车拥有状况的三变量分析,,,,,,,,私家车拥有状况,收入水平,低收入,高收入,教育程度,教育程度,本科及以上,本科以下,本科及以上,本科以下,有,没有,20%,（,20,）,80%,（,80,）,20%,（,140,）,80%,（,560,）,40%,（,60,）,60%,（,90,）,40%,（,20,）,60%,（,30,）,列合计,100%,1

11、00%,100%,100%,被调查者人数,100,700,150,50,第17页/共92页,2023/9/2417第八章 相关与回归分析,2024/12/13,18,正 相 关,负 相 关,曲线相关,不 相 关,,,x,y,,,,,,,,,,,,,x,y,,,,,,,,,,,,,,x,y,,,,,,,,,,,,,,,,x,y,,,,,,,,,,,,第八章 相关与回归分析,（三）相关图,第18页/共92页,2023/9/2418正 相 关负 相 关曲线相关不 相 关,2024/12/13,19,第八章 相关与回归分析,,,,,,,,,,,,,,第二节 相关分析,一、简单相关系数及其检验,,,,

12、,,,,,,,,,,,,,,(,一,),简单相关系数的定义,,简单相关系数简称相关系数，是测量两个变量之间线性相关的方向和程度的指标。,,,总体相关系数的表达式为：,,式中：,,,为变量,X,与变量,Y,的协方差,,,,为变量,Y,的方差,为变量,X,的方差,第19页/共92页,2023/9/2419第八章 相关与回归分析,2024/12/13,20,第八章 相关与回归分析,,,,,,,,,,,,,,第五节 相关分析,一、简单相关系数及其检验,,,,,,,,,,,,,,,,,,,(,一,),简单相关系数的定义,,,,,,,,,样本相关系数,是总体相关系数,的估计值。,,,简单相关系数通常采用

13、下面的计算公式：,,第20页/共92页,2023/9/2420第八章 相关与回归分析,2024/12/13,21,相关系数,r,的取值范围：,-1≤r≤1,r>0,为,正相关,，,r < 0,为,负相关,；,|r|=0,表示不存在,线性,关系；,|r|,＝,1,表示,完全,线性,相关,；,0<|r|<1,表示存在,不同程度线性相关,：,,|r|,,<,,0.4,为低度线性相关；,,0.4,≤,|r|,＜,0.7,为显著性线性相关；,,0.7,≤,|r|,＜,1.0,为,高度,显著性线性相关。,,第八章 相关与回归分析,第21页/共92页,2023/9/2421相关系数r的取值范围：-1≤r≤1

14、r>,2024/12/13,22,第八章 相关与回归分析,,,,,,,,,,,,,第五节 相关分析,一、简单相关系数及其检验,,,,,,,,,,,,,,,,,,,(,二,),简单相关系数的检验,,,样本相关系数的检验有两种方法：,直接检验法，,检验法。,,,,,,,,,第22页/共92页,2023/9/2422第八章 相关与回归分析,2024/12/13,23,相关系数的显著性检验（,t,检验法）,⒈,提出假设：,目的,检验,总体,两变量间线性相关性是否显著,步,骤,⒉,构造检验统计量：,第八章 相关与回归分析,第23页/共92页,2023/9/2423相关系数的显著性检验（t检验法）⒈提出

15、,2024/12/13,24,相关系数的显著性检验（,t,检验法）,⒊,根据给定的显著性水平,，,确定临界值 ；,⒌,计算检验统计量并做出决策。,⒋,确定原假设的拒绝规则,:,若 ，则接受,H,0,,,表示总体两变量间线性相关性不显著,;,若 ，则拒绝,H,0,,,表示总体两变量间线性相关性显著,步,骤,第八章 相关与回归分析,第24页/共92页,2023/9/2424相关系数的显著性检验（t检验法）⒊ 根,2024/12/13,25,第八章 相关与回归分析,【,例,】,检验生产量与生产费用之间的线性相关性是否显著。,

16、当 成立时，则统计量,,第25页/共92页,2023/9/2425第八章 相关与回归分析【例】检验生产量,2024/12/13,26,第八章 相关与回归分析,,,,,,,,,,,第五节 相关分析,二、复相关系数,,,,,,,,,,,,,,,,,,,复相关系数是测量一个变量与其它多个变量之间线性相关程度的指标。,,,,,,,,,为了测定一个变量,y,与其它多个变量 之间的相关系数，可以考虑构造一个关于的线性组合，通过计算该线性组合与之间的简单相关系数作为变量与之间的复相关系数。具体计算过程如下：,,第一步，用,y,对,作

17、回归，得,,第26页/共92页,2023/9/2426第八章 相关与回归分析,2024/12/13,27,第八章 相关与回归分析,,,,,,,,,,第五节 相关分析,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,第二步，计算,y,和,的简单相关系数，此简单相关系数即为,y,与,,之间的复相关系数。,,,,复相关系数的计算公式为：,第27页/共92页,2023/9/2427第八章 相关与回归分析,2024/12/13,28,第八章 相关与回归分析,,,,,,,,,,,第五节 相关分析,二、复相关系数,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,复相关系数与

18、简单相关系数的区别是简单相关系数的取值范围是,[-1,1],，而复相关系数的取值范围是,[0,1],。这是因为，在两个变量的情况下，回归系数有正负之分，所以在研究相关时，也有正相关和负相关之分；但在多个变量时，偏回归系数有两个或两个以上，其符号有正有负，不能按正负来区别，所以复相关系数也就只取正值。,第28页/共92页,2023/9/2428第八章 相关与回归分析,2024/12/13,29,第八章 相关与回归分析,,,,,,当两个变量同时受其它变量影响时，有必要研究当控制其它变量不变时，该两个变量之间的相关关系。这种相关关系被称为偏相关关系。,,,,,,第五节 相关分析,三、偏相关系数,,

19、,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,,计算偏相关系数的原因在于任何两个变量这间的相关关系都可能受其余变量的影响。要考察两个变量之间的纯相关关系，必须排除其余变量的影响，或者说必须使其余变量保持不变。,第29页/共92页,2023/9/2429第八章 相关与回归分析,2024/12/13,30,第八章 相关与回归分析,,,,,,,,第五节 相关分析,三、偏相关系数,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,偏相关系数的计算是以回归分析为基础的。以三个变量的情形为例，此种情况下，的偏相关系数有三个，分别记作,,,,,,为,与,之间的相关系数；,,保

20、持不变时，,,、 和 之间的相关系数；,,,,,与,为,保持不变时，,之间的相关系数；,为,与,保持不变时，,之间的相关系数；,第30页/共92页,2023/9/2430第八章 相关与回归分析,2024/12/13,31,第八章 相关与回归分析,,,,,,,,第五节 相关分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,计算残差,此时,中不再含有,对,的影响。,第二步，求,对,的回归估计式,计算残差,此时,中不再含有,对,的影响。,第一步，求,对,的回归估计式,第31页/共92页,2023/9/2431第八章 相关与回归分

21、析,2024/12/13,32,第八章 相关与回归分析,,,,,,,,,第五节 相关分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,第三步，计算,和,的简单相关系数,由于,和,中都不再包含,的影响，因此,和,的简单相关系数就是,保持不变时，,与,之间的相关系数。,所以偏相关系数,第32页/共92页,2023/9/2432第八章 相关与回归分析,2024/12/13,33,第八章 相关与回归分析,,,,,,,第五节 相关分析,三、偏相关系数,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,可以证明，,第33页

22、/共92页,2023/9/2433第八章 相关与回归分析,2024/12/13,34,第八章 相关与回归分析,,,,,,,,,,第五节 相关分析,三、偏相关系数,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,类似的,,,,当变量个数多于,3,个时，求偏相关系数的原则不变，即应先排除其余变量对所考察两个变量的影响，然后求这两个变量之间的简单相关系数。只是变量越多，数学处理以及偏相关系数的表达式就越复杂。,第34页/共92页,2023/9/2434第八章 相关与回归分析,2024/12/13,35,第二节 一元线性回归分析,第八章 相关与回归分析,一、一元线性回归分析随机误差项的

23、基本假定,,,,,,,,在回归分析中，最简单最基本的单方程模型为一元线性回归模型。,一元线性回归分析的总体回归模型为：,,,,,,为常数项或截距项， 为斜率系数,,,是随机误差,项,,,又称随机干扰项 。,,第35页/共92页,2023/9/2435第二节 一元线性回归分析第八章 相关,2024/12/13,36,第二节 一元线性回归分析,第八章 相关与回归分析,一、一元线性回归分析随机误差项的基本假定,,,,第二，模型的设定误差。,,在线性回归模型中加入随机误差项是基于以下原因：,,,,,,第一，模型不可能包含所有的解释变量。,,第三，测量误差的影响。,第四，其他随机因素的影响。,第

24、36页/共92页,2023/9/2436第二节 一元线性回归分析第八章 相关,2024/12/13,37,第二节 一元线性回归分析,第八章 相关与回归分析,一、一元线性回归分析随机误差项的基本假定,,,,,,,,,,,线性回归模型由两部分构成，确定性部分和随机性部分， 为确定性部分，称为对于给定值的期望值，可以写为：,,,,上式被称为总体线性回归方程。,,第37页/共92页,2023/9/2437第二节 一元线性回归分析第八章 相关,2024/12/13,38,第二节 一元线性回归分析,第八章 相关与回归分析,一、一元线性回归分析随机误差项的基本假定

25、,,,,,,,满足以下假定的线性回归模型称为,古典（或经典）线性回归模型,,,,,,,,,,,假定,1,：回归模型是正确设定的,假定,2,：解释变量是非随机的,假定,3,：随机误差项的均值为零,假定,4,：随机误差项的方差为一个不变的常数（等方差假定）,假定,5,：随机误差项的观测值互不相关（非序列相关假定）,假定,6,：解释变量与随机误差项不相关,假定,7,：随机误差项服从正态分布,假定,8,：没有一个解释变量是其他任何解释变量的完全线性组合（无多重共线性假定，只适用于多元线性回归模型）,第38页/共92页,2023/9/2438第二节 一元线性回归分析第八章 相关,2024/12/13,

26、39,第二节 一元线性回归分析,第八章 相关与回归分析,二、一元线性回归模型的估计,,,最小二乘法的意义在于使,为了得到这些估计值而最为广泛使用的方法就是普通最小二乘法,,,,,,,,,,,为样本回归方程。,达到最小来确定,、,,,一般用,、,分别表 分别表示参数的估计,,称,为回归残差,第39页/共92页,2023/9/2439第二节 一元线性回归分析第八章 相关,2024/12/13,40,,,,,,,,,残差,(,Residual,):,,,,,,第40页/共92页,2023/9/2440残差(Residual):第40页/共,2024/12/13,41,第二节 一元线性回归分析,

27、第八章 相关与回归分析,二、一元线性回归模型的估计,,,,,,,,,,,,,,,,根据微积分的极值定理，对 求相应于 、 的偏导数，并令其等于,0,，即可求得 ：,,,,,,,,第41页/共92页,2023/9/2441第二节 一元线性回归分析第八章 相关,2024/12/13,42,b,与,r,的关系：,r,＞,0 r,＜,0 r=0,b,＞,0 b,＜,0 b=0,,,,第八章 相关与回归分析,第42页/共92页,2023/9/2442b与r的关系： r＞0 r,2024/12/13,43,第二节 一元线性

28、回归分析,第八章 相关与回归分析,二、一元线性回归模型的估计,,,,,,,,,,,,,,,,样本回归直线具有下述性质：,第一、它通过,y,和,x,的样本平均数 和 确定的那一点；,第二、 的平均值和 的平均值相等；,第三、残差的平均值是零；,第四、残差和 不相关；,第五、残差与,x,不相关。,,,,第43页/共92页,2023/9/2443第二节 一元线性回归分析第八章 相关,2024/12/13,44,【,分析,】,因为工业总产值与能源消耗量之间存在高度正相关关系（ ），所以可以拟合工业总产值对能源消耗量的线性

29、回归方程。,【,例,】,建立工业总产值对能源消耗量的线性回归方程,。,解：设,线性回归方程为,,第八章 相关与回归分析,第44页/共92页,2023/9/2444【分析】因为工业总产值与能源消耗量之间,2024/12/13,45,序号,能源消耗量（十万吨）,x,工业总产值（亿元）,y,x,2,y,2,xy,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,35,38,40,42,49,52,54,59,62,64,65,68,69,71,72,76,24,25,24,28,32,31,37,40,41,40,47,50,49,51,48,58,1225,1444,1

30、600,1764,2401,2704,2916,3481,3844,4096,4225,4624,4761,5041,5184,5776,576,625,576,784,1024,961,1369,1600,1681,1600,2209,2500,2401,2601,2304,3364,840,950,960,1176,1568,1612,1998,2360,2542,2560,3055,3400,3381,3621,3456,4408,合计,916,625,55086,26175,37887,,第45页/共92页,2023/9/2445序号能源消耗量（十万吨）x工业总产值（,2024/12/

31、13,46,第八章 相关与回归分析,即,线性回归方程为：,计算结果表明，在其他条件不变时，能源消耗量每增加一个单位（十万吨），工业总产值将增加,0.7961,个单位（亿元）。,,第46页/共92页,2023/9/2446第八章 相关与回归分析即线性回归方程为,2024/12/13,47,第二,节 一元线性回归分析,第八章 相关与回归分析,二、一元线性回归模型的估计,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,在回归分析中，不要试着对常数项进行解释，原因有两点：,,,首先，随机误差项部分地是由于忽略了许多边缘自变量而生成的，这些变量的平均效应被置于常数项中。,,其次，常数项

32、是当所有自变量与误差项为,0,时，因变量的值，但是自变量与随机误差项的值几乎从不等于,0,，因为用作经济分析的变量通常是正的。,第47页/共92页,2023/9/2447第二节 一元线性回归分析第八章 相关,2024/12/13,48,第二节 一元线性回归分析,第八章 相关与回归分析,二、一元线性回归模型的估计,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,2.,大样本性质,,无偏性,(,二,),一元线性回归模型最小二乘估计量的性质,1.,小样本性质,线性,,有效性,,渐近无偏性,一致性,第48页/共92页,2023/9/2448第二节 一元线性回归分析第八章 相关,

33、2024/12/13,49,第二节 一元线性回归分析,第八章 相关与回归分析,三、一元线性回归模型的拟合程度分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,(,一,),一元线性回归模型的判定系数,第49页/共92页,2023/9/2449第二节 一元线性回归分析第八章 相关,2024/12/13,50,第八章 相关与回归分析,,,,,,,,,,剩余离差平方和,回归离差平方和,总离差平方和,第50页/共92页,2023/9/2450第八章 相关与回归分析剩余离差平方和回,2024/12/13,51,第二节 一元线性回归分析,第八章 相关与回归分析,三、一元线性回归模型的拟合

34、程度分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,可以证明，对上式两边分别平方加总后等式仍然成立，即：,(,一,),一元线性回归模型的判定系数,,,,,,可简写为：,TSS,＝,ESS,＋,RSS,第51页/共92页,2023/9/2451第二节 一元线性回归分析第八章 相关,2024/12/13,52,第二节 一元线性回归分析,第八章 相关与回归分析,三、一元线性回归模型的拟合程度分析,,,,,,,,,,,判定系数测度了回归直线对观测数据的拟合程度,,,记为,,,,,,,,,,,,,,,,,(,一,),一元线性回归模型的判定系数,,,,,,,,,第52页/共92页,2

35、023/9/2452第二节 一元线性回归分析第八章 相关,2024/12/13,53,判定系数与相关系数的关系,第八章 相关与回归分析,第53页/共92页,2023/9/2453判定系数与相关系数的关系第八章 相关与,2024/12/13,54,判定系数与相关系数的区别：,判定系数无方向性，相关系数则有方向，其方向与样本回归系数,b,相同；,判定系数说明变量值的总离差平方和中可以用回归线来解释的比例，相关系数只说明两变量间关联程度及方向；,第八章 相关与回归分析,第54页/共92页,2023/9/2454判定系数与相关系数的区别：判定系数无方,2024/12/13,55,第二节 一元线性回

36、归分析,第八章 相关与回归分析,三、一元线性回归模型的拟合程度分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,估计标准误差是指实际值与估计值的平均离差。,其定义公式如下：,,(,二,),一元线性回归模型的估计标准误,,,,,,估计标准差越小，则变量间相关程度越高，回归线对,Y,的解释程度越高。,第55页/共92页,2023/9/2455第二节 一元线性回归分析第八章 相关,2024/12/13,56,第二节,一元线性回归分析,第八章 相关与回归分析,四、一元线性回归模型的显著性检验,,,,,,,,,,,,,,,,,,,,,,,,,,,,,根据正态分布下最小二乘估计量的性质

37、，可求出的抽样分布为：,,,,(,一,),回归系数的显著性检验,,,,,回归系数的显著性检验就是要检验自变量对因变量的影响程度是否显著的问题。若总体回归系数,，,则总体回归线就是一条水平线，说明两个变量之间没有线性关系，即自变量的变化对因变量没有影响。,第56页/共92页,2023/9/2456第二节 一元线性回归分析第八章 相关,2024/12/13,57,第二节 一元线性回归分析,第八章 相关与回归分析,四、一元线性回归模型的显著性检验,,,,,,,,,（,1,）建立原假设,假设样本从一个没有线性关系的总体中选出，即,,,,,,,,,,,,,,,,,,,,,,,(,一,),回归系数的显

38、著性检验,,（,2,）计算检验统计量,t,值,,其中，,,,．,第57页/共92页,2023/9/2457第二节 一元线性回归分析第八章 相关,2024/12/13,58,第二节 一元线性回归分析,第八章 相关与回归分析,四、一元线性回归模型的显著性检验,,,,,,（,4,）得出检验结果,,,,,,,,,,,,,,,,,,,,,,,(,一,),回归系数的显著性检验,,,,（,3,）确定显著性水平,α,(,一般取,α,＝,0.05),，并根据自由度 查 分布表，找出相应的临界值,,,表明自变量,x,对因变量,y,的影响是显著的。,,，拒绝,若,,,表明自变量,x,对

39、因变量,y,的影响是显著的。,,,拒绝,若,第58页/共92页,2023/9/2458第二节 一元线性回归分析第八章 相关,2024/12/13,59,第二节 一元线性回归分析,第八章 相关与回归分析,四、一元线性回归模型的显著性检验,,,,,,,,,,,,,,,,,,,,,,,,,,,,,(,二,),回归方程总体显著性的,F,检验,,,,F,检验的基本步骤为：,,（,1,）建立原假设备择假设,,由于备择假设和原假设是对立的，所以备择假设为：,至少有一个,不为,0,。,,（,2,）计算,F,统计量,,,第59页/共92页,2023/9/2459第二节 一元线性回归分析第八章 相关,202

40、4/12/13,60,第二节 一元线性回归分析,第八章 相关与回归分析,四、一元线性回归模型的显著性检验,,,,在原假设成立的条件下，,F,统计量服从第一个自由度为 ，第二个自由度为 的,F,分布。,,,,,,,,,,,,,,,,,,,,,,在一元回归下，,F,统计量简化为：,第60页/共92页,2023/9/2460第二节 一元线性回归分析第八章 相关,2024/12/13,61,第二节 一元线性回归分析,第八章 相关与回归分析,四、一元线性回归模型的显著性检验,,,,,,,（,3,）确定显著性水平,a (,一般取,a=0.05 ),，并根据两个自由度查

41、,F,分布表，得到相应的临界值 。,,,,，则接受原假设，说明回归方程在整体上不显著。,,,,,,,,,,,,,,,,,,,,（,4,）得出检验结果,若,,,则拒绝,，说明回归方程在整体上是显著的；,若,,第61页/共92页,2023/9/2461第二节 一元线性回归分析第八章 相关,2024/12/13,62,第八章 相关与回归分析,,,,,,,,,,,,,,,多元线性回归模型的一般表示式为：,与多元线性回归模型相对应的总体回归方程为：,样本回归模型为：,,第三节 多元线性回归分析,一、多元线性回归模型,(,一,),多元线性回归模型的矩阵表示,,,样本回归方程为：,第62页/共

42、92页,2023/9/2462第八章 相关与回归分析,2024/12/13,63,第八章 相关与回归分析,,,,,,,,,,,,,,,第三节 多元线性回归分析,,,,假设为了得到未知参数的估计值，我们对被解释变量和解释变量进行了,n,次观测，代入多元线性回归模型，可得,n,个随机模型：,一、多元线性回归模型,(,一,),多元线性回归模型的矩阵表示,第63页/共92页,2023/9/2463第八章 相关与回归分析,2024/12/13,64,第八章 相关与回归分析,,,,为了使多元线性回归分析和计算更方便、更简洁，可以用矩阵形式表示：,,,,,,,,,,,,第三节 多元线性回归分析,,,,,

43、一、多元线性回归模型,(,一,),多元线性回归模型的矩阵表示,第64页/共92页,2023/9/2464第八章 相关与回归分析,2024/12/13,65,第八章 相关与回归分析,,,,,,,,,,,,第三节 多元线性回归分析,,,,,,,定义,,依照矩阵运算法则，上式可表示为：,类似的，定义,第65页/共92页,2023/9/2465第八章 相关与回归分析,2024/12/13,66,第八章 相关与回归分析,,,,,,,,,,,,,我们把基本假定用矩阵的形式表示出来：,,第三节 多元线性回归分析,一、多元线性回归模型,(,二,),多元线性回归模型的基本假定,,,,,,,1.,零均值假定可

44、以表示为：,,,,第66页/共92页,2023/9/2466第八章 相关与回归分析,2024/12/13,67,第八章 相关与回归分析,,,,,,,,,,,,,,,第三节 多元线性回归分析,,,,,,,,2.,同方差和无序列相关可以表示为：,,,第67页/共92页,2023/9/2467第八章 相关与回归分析,2024/12/13,68,第八章 相关与回归分析,4.,解释变量与随机误差项不相关假定可表示为：,,或,,,,,第三节 多元线性回归分析,,,,,,3.,,随机误差项服从正态分布可以表示为,：,,,,解释变量之间不存在多重共线性可表示为：,,,如果上成立，,至少有,k+1,阶子式不

45、为零，表明解释变量之间,也就是要求系数行列式,,不存在线性相关关系。 等价于,第68页/共92页,2023/9/2468第八章 相关与回归分析4.解释变量与随,2024/12/13,69,第八章 相关与回归分析,,,由样本回归模型 和样本回归方程 ，可得残差向量为：,,,,,,第三节 多元线性回归分析,,二、多元线性回归模型的估计,,(,一,),参数的普通最小二乘估计,,,,,,,,对上式两边分别对,求一阶导数，并令一阶偏导数为零，得,,,由假定,，可以得到参数估计量为：,,

46、第69页/共92页,2023/9/2469第八章 相关与回归分析,2024/12/13,70,第八章 相关与回归分析,,,,,,,,,第三节 多元线性回归分析,,二、多元线性回归模型的估计,,(,一,),参数的普通最小二乘估计,,,,,,,,对上式两边分别对,求一阶导数，并令一阶偏导数为零，得,,,由假定,，可以得到参数估计量为：,,第70页/共92页,2023/9/2470第八章 相关与回归分析,2024/12/13,71,第八章 相关与回归分析,,,,,,,,,,,,,,,第三节 多元线性回归分析,二、多元线性回归模型的估计,(,二,),参数普通最小二乘估计量的性质和分布,,,,,,,

47、在多元线性回归条件下，参数的最小二乘估计仍然具有线性、,无偏性和最小方差性。,由于,,,,,可以,看出,具有线性特性，,稍加变换，它还是,的线性组合。,,,,,,由此可见,是无偏的。,第71页/共92页,2023/9/2471第八章 相关与回归分析,2024/12/13,72,第八章 相关与回归分析,,,,,,,,,在无偏性的基础上，我们可以得到 的方差,-,协方差矩阵：,,,,第三节 多元线性回归分析,二、多元线性回归模型的估计,(,二,),参数普通最小二乘估计量的性质和分布,,,,,,,,,,第72页/共92页,2023/9/2472第八章 相关与回归分析,2024/12/13,

48、73,第八章 相关与回归分析,,,,,,,,,,,,,,第三节 多元线性回归分析,二、多元线性回归模型的估计,(,二,),参数普通最小二乘估计量的性质和分布,,,,,,,,,,,,,,,,,由于,的线性组合，而,假定是服从正态分布的，所以,也是服从正态分布的，即,由于,是不可观测的，所以其方差,没有办法计算出来，,,,,,因此,的方差,-,协方差矩阵的估计值为：,是,只能进行估计。可以证明：,第73页/共92页,2023/9/2473第八章 相关与回归分析,2024/12/13,74,第八章 相关与回归分析,,,在多元线性回归模型中，总平方和仍可分解为回归平方和和残差平方和,,.,,,,,,

49、,,,,,第三节 多元线性回归分析,,三、多元线性回归模型的检验,(,一,),拟合优度检验,,,,,,,,,,,,,,,三个平方和的矩阵表示分别为：,,,,第74页/共92页,2023/9/2474第八章 相关与回归分析,2024/12/13,75,第八章 相关与回归分析,,,,,,,,,,,,,多元线性回归判定系数仍表示为回归平方和与总平方和之比，即,,第三节 多元线性回归分析,,三、多元线性回归模型的检验,(,一,),拟合优度检验,,,,,,,,,,,,,,,,调整的判定系数,,定义为：,第75页/共92页,2023/9/2475第八章 相关与回归分析,2024/12/13,76,第八

50、章 相关与回归分析,,,,,,,,在一元线性回归中，总体回归方程的显著性检验和斜率参数的显著性检验是等价的，这可以从两类检验的原假设上得到说明。但在多元线性回归中，由于存在多个解释变量，参数的显著性检验不再等价于总体回归方程的显著性检验。,,,,,,,,,第三节 多元线性回归分析,,三、多元线性回归模型的检验,(,二,),总体回归方程的显著性检验,,,,,,,,,,,,,,,,,第76页/共92页,2023/9/2476第八章 相关与回归分析,2024/12/13,77,第八章 相关与回归分析,,,,第一步，计算检验统计量,,,,,,,,,,,,第三节 多元线性回归分析,,三、多元线性回归

51、模型的检验,(,三,),参数的显著性检验,,,,,,,,,,,,,,,,,,,,具体作法是：,,将,进行标准化，标准化后的变量服从标准正态分布：,,第77页/共92页,2023/9/2477第八章 相关与回归分析,2024/12/13,78,第八章 相关与回归分析,,,,,，则拒绝原假设，认为解释变量,,,若,,,,,,,,第三节 多元线性回归分析,,三、多元线性回归模型的检验,(,三,),参数的显著性检验,,,,,,第二步，确定显著性水平，查表确定临界值,,,,,,,,,,,,对应变量的影响是显著的。,在原假设成立的情况下，该统计量服从,个自由度的,分布。,由于,未知，可用其估计量,代替，

52、由此可得到,统计量：,第78页/共92页,2023/9/2478第八章 相关与回归分析,2024/12/13,79,第八章 相关与回归分析,,,,,,,,,,,,,,,第四节 非线性回归分析,一、非线性回归模型的定义,,,,,,,,,,,,,,,,,,,非线性回归分析模型的本质，取决于可否通过某种数量变换或数学变换化成线性回归模型，并从而可进行,OLS,估计。,,非线性回归模型可以表示为：,,其中,是期望函数，,是第,t,个自变量向量,,第79页/共92页,2023/9/2479第八章 相关与回归分析,2024/12/13,80,第八章 相关与回归分析,,,,,,,,,,,4. S,型曲线模

53、型,,,,,第四节 非线性回归分析,二、可线性化的非线性回归模型的估计,,,,,,,,,,,,,,,,,,1.,双曲线模型,,,2.,二次多项式模型,,3.,半对数和双对数模型,,,,,5.,其它非线性模型,,第80页/共92页,2023/9/2480第八章 相关与回归分析,2024/12/13,81,第八章 相关与回归分析,,,,对于不可线性化的非线性回归模型，可采用非线性最小二乘法或非线性极大似然法进行估计。,,,,,,,,,,第四节 非线性回归分析,三、不可线性化的非线性回归模型的估计,,,,,,,,,,,,,,,,,,,,如果只包含一个未知参数，则可写成下面的形式,对于,相对应的残

54、差平方和为,使上式达到最小的,即为非线性最小二乘估计量，,第81页/共92页,2023/9/2481第八章 相关与回归分析,2024/12/13,82,第八章 相关与回归分析,,,,,,,第四节 非线性回归分析,三、不可线性化的非线性回归模型的估计,,,,,,,,,,,,,,,,,,应该满足以下条件：,即,根据极值理论，,第82页/共92页,2023/9/2482第八章 相关与回归分析,2024/12/13,83,第八章 相关与回归分析,,,,,,高斯,-,牛顿法的计算步骤如下：,,,,,,,,,第四节 非线性回归分析,,,,,,,,,,,,,,,,,,取一阶近似值,第一步：将,在某个初值

55、,处进行泰勒级数展开，,,第二步：令,,,将第二步代入第一步得,,,第83页/共92页,2023/9/2483第八章 相关与回归分析,2024/12/13,84,第八章 相关与回归分析,,,,,,,,,,,,,,,第四节 非线性回归分析,三、不可线性化的非线性回归模型的估计,,,,,,,,,,,,,,,,,,,,,,第三步：对上面模型进行最小二乘估计，得到,的第一步估计值,(,第一次迭代值,),第四步：用,,代替第一步中的,直到收收敛为止。,,，重复一至四步，,第84页/共92页,2023/9/2484第八章 相关与回归分析,2024/12/13,85,第八章 相关与回归分析,,,,,,,,

56、,,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,,,,本 章 小 结,,,本章介绍了相关与回归分析的各种理论和方法，并对大多数问题给出了实例。相关分析与回归分析的概念是这一章的基础，相关分析与回归分析既有区别又有联系，相关表和相关图是了解相关关系的重要工具。,一元线性回归分析是回归分析的核心，回归分析都是在经典假设的基础上进行的，在经典回归下，最小二乘估计量具有线性、无偏性和有效性。在这些性质的基础上，可以得到最小二乘估计量的分布，由此可以对参数进行区间估计和假设检验。另外需要对回归方程的拟合程度进行检验。预测是一元线性回归的基本目的之一。,第85页/共92页,2023

57、/9/2485第八章 相关与回归分析,2024/12/13,86,第八章 相关与回归分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,,,,本 章 小 结,,,多元线性回归的基本原理和一元线性回归是类似的，主要区别在于解释变量的多少。为了运算的方便，多元线性回归采用矩阵方法进行表示。,非线性回归的概念存在一定误区，本章阐明了非线性回归分析的概念，并对可线性化的非线性回归模型和不可线性化的回归模型分别展开了讨论。,相关分析包括简单相关系数的计算、复相关系数的计算和偏相关系数的计算。由于复相关系数和偏相关系数的计算方法依赖于回归分析，所以相关分析放在了最

58、后一节。由于多元线性回归、非线性回归、复相关系数、偏相关系数的计算比较烦琐，且大部分统计软件均可完成操作，故本章的例题主要针对于一元线性回归分析和简单相关系数。,第86页/共92页,2023/9/2486第八章 相关与回归分析,2024/12/13,87,第八章 相关与回归分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,,,,思考与练习,,,,1.,简述相关关系的种类。,,2.,什么是相关分析？什么是回归分析？二者有什么区别与联系？,,3.,简述相关表的种类。,,4.,说明经典线性回归模型的基本假定。,,5.,多元线性回归模型系数向量的普通最小二乘

59、估计有哪些性质？,,6.,多元线性回归模型检验的内容都有哪些？,,第87页/共92页,2023/9/2487第八章 相关与回归分析,2024/12/13,88,第八章 相关与回归分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,,,,思考与练习,,,年份,1999,2000,2001,2002,2003,2004,2005,产量,(,万件,),34,44,49,58,67,76,85,利润,(,万元,),25,28,34,36,40,42,46,表,8-10 1999-2005,年产量与利润表,7.,已知某厂,1999~2005,年产量和利

60、润的数据如表,8-10,：,第88页/共92页,2023/9/2488第八章 相关与回归分析,2024/12/13,89,第八章 相关与回归分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,要求：,,(1),画出利润随产量变化的散点图；,,(2),建立利润对产量的一元线性回归方程；,,(3),对斜率的经济意义加以解释；,,(4),对建立的回归方程进行检验。,,,8.,设某种商品销售量,Y,、价格,X,和广告费用,Z,有下述关系：,,,,,,,思考与练习,,,,,,第89页/共92页,2023/9/2489第八章 相关与回归分析,2024/12/13,90

61、,第八章 相关与回归分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,,思考与练习,,,月份,销售量,(,公斤,),价格,(,元,/,公斤,),广告费用,(,元,),1,2,3,4,5,6,7,8,9,10,11,12,55,70,90,100,90,105,80,110,125,115,130,130,100,90,80,70,70,70,70,65,60,60,55,50,5.50,6.30,7.20,7.00,6.30,7.35,5.60,7.15,7.50,6.90,7.15,6.50,表,8-11,商品销售量、价格与广告费用数据,第90页/

62、共92页,2023/9/2490第八章 相关与回归分析,2024/12/13,91,第八章 相关与回归分析,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,；,,,,,,,,,,思考与练习,,,要求：,(1),估计样本回归方程,(2),对回归方程进行显著性检验,(3),计算复相关系数,(4),计算,X,和,Z,的偏相关系数,(5),假如某月商品价格为,80(,元,/,公斤,),，广告费用为,7(,元,),，预测该商品的销售量，并建立,95%,的预测区间。,第91页/共92页,2023/9/2491第八章 相关与回归分析,2024/12/13,课件,92,谢谢您的观看！,第92页/共92页,2023/9/24课件92谢谢您的观看！第92页/共92页,