《应用回归分析》第二版

《《应用回归分析》第二版》由会员分享，可在线阅读，更多相关《《应用回归分析》第二版（245页珍藏版）》请在装配图网上搜索。

1、应用回归分析第二版应用回归分析Applied Regression Analysis教材何晓群，刘文卿：应用回归分析第二版，中国人民大学出版社，2007年 统计软件SPSS 131.0Statistical Package for the Social Science 章 节 目 录第1章 回归分析概述 第2章 一元线性回归 第3章 多元线性回归第4章 违背基本假定的情况 第5章 自变量选择与逐步回归 第6章 多重共线性的情形及其处理 第7章 岭回归 第8章 非线性回归第9章 含定性变量的回归模型 第1章 回归分析概述1 .1 变量间的统计关系 1 .2 回归方程与回归名称的由来1 .3 回归

2、分析的主要内容及其一般模型 1 .4 建立实际问题回归模型的过程1 .5 回归分析应用与发展述评 思考与练习1 .1 变量间的统计关系函数关系商品的销售额与销售量之间的关系y = px圆的面积与半径之间的关系S=?R2 原材料消耗额与产量(x1) 、单位产量消耗(x2) 、原材料价格(x3)之间的关系y = x1 x2 x3 1 .1 变量间的统计关系1 .1 变量间的统计关系相关关系的例子子女身高 (y)与父亲身高(x)之间的关系收入水平(y)与受教育程度(x)之间的关系粮食亩产量(y)与施肥量(x1) 、降雨量(x2) 、温度(x3)之间的关系商品的消费量(y)与居民收入(x)之间的关系商

3、品销售额(y)与广告费支出(x)之间的关系1 .1 变量间的统计关系1 .2 回归方程与回归名称的由来成年儿子身高父母平均身高英国统计学家F.Galton(1822-1911年)。F.Galton和他的学生、现代统计学的奠基者之一K.Pearson(18561936年)在研究父母身高与其子女身高的遗传问题时,观察了1 078对夫妇, 1 .3 回归分析的主要内容及其一般模型1 .4 建立实际问题回归模型的过程设置指标变量收集整理数据构造理论模型估计模型参数修改 N 模型运用Y经济因素分析经济变量控制 经济决策预测实 际 问 题模型检验1 .5 回归分析应用与发展述评 从高斯提出最小二乘法算起,

4、回归分析已经有200年的历史。 从1969年设立诺贝尔经济学奖以来,已有近50位学者获奖,其中绝大部分获奖者是统计学家、计量经济学家、数学家。他们对统计学及回归分析方法的应用都有娴熟的技巧。第2章 一元线性回归2 .1 一元线性回归模型2 .2 参数0、1的估计2 .3 最小二乘估计的性质2 .4 回归方程的显著性检验2 .5 残差分析2 .6 回归系数的区间估计2 .7 预测和控制2 .8 本章小结与评注2 .1 一元线性回归模型例2 .1 表2.1列出了15起火灾事故的损失及火灾发生地与最近的消防站的距离。 表2.1火灾损失表2 .1 一元线性回归模型例2.2 全国人均消费金额记作y(元)

5、; 人均国民收入记为x(元) 表2.2 人均国民收入表2 .1 一元线性回归模型一元线性回归模型 y=0+1x+回归方程 E（y|x）=0+1x2 .1 一元线性回归模型样本模型 yi=0+1xi+i, i=1,2,n回归方程 E(yi)=0+1xi ,var(yi)=2，样本观测值(x1,y1),(x2,y2),(xn,yn)经验回归方程 2 .2 参数0、1的估计一、普通最小二乘估计 (Ordinary Least Square Estimation,简记为OLSE) 最小二乘法就是寻找参数0、1的估计值使离差平方和达极小称为yi的回归拟合值,简称回归值或拟合值 称为yi的残差 2 .2

6、参数0、1的估计2 .2 参数0、1的估计经整理后,得正规方程组2 .2 参数0、1的估计得OLSE 为记2 .2 参数0、1的估计续例2.1回归方程2 .2 参数0、1的估计二、最大似然估计 连续型：是样本的联合密度函数：离散型：是样本的联合概率函数。似然函数并不局限于独立同分布的样本。 似然函数在假设iN(0,2)时,由（2.10）式知yi服从如下正态分布:2 .2 参数0、1的估计二、最大似然估计 y1,y2,yn的似然函数为：对数似然函数为：与最小二乘原理完全相同 2 .3 最小二乘估计的性质一、线性 是y1,y2,yn的线性函数 ：2 .3 最小二乘估计的性质其中用到 二、无偏性 2

7、 .3 最小二乘估计的性质三、 的方差 2 .3 最小二乘估计的性质三、 的方差 在正态假设下GaussMarkov条件 2.4 回归方程的显著性检验 一、t 检验 原假设： H0 ：1=0对立假设： H1 ：10 由当原假设H0 ：1=0成立时有： 2.4 回归方程的显著性检验 一、t 检验 构造t 统计量 其中2.4 回归方程的显著性检验 二、用统计软件计算 1例2.1 用Excel软件计算 什么是P 值?(P-value)P 值即显著性概率值 Significence Probability Value是当原假设为真时得到比目前的 样本更极端的样本的 概率，所谓极端就是与原假设相背离它是

8、用此样本拒绝原假设所犯弃真错误的 真实概率，被称为观察到的(或实测的)显著性水平双侧检验的P 值?/ 2 ?/ 2 t拒绝拒绝H0值临界值计算出的样本统计量计算出的样本统计量临界值1/2 P 值1/2 P 值左侧检验的P 值H0值临界值a样本统计量拒绝域抽样分布1 - ?置信水平计算出的样本统计量P 值右侧检验的P 值H0值临界值a拒绝域抽样分布1 - ?置信水平计算出的样本统计量P 值利用 P 值进行检验的决策准则若p-值 ?,不能拒绝 H0若p-值 ?, 拒绝 H0双侧检验p-值 =2单侧检验p-值2.4 回归方程的显著性检验 二、用统计软件计算2. 例2.1用SPSS软件计算2.4 回归

9、方程的显著性检验 二、用统计软件计算2.用SPSS软件计算2.4 回归方程的显著性检验 三、F检验平方和分解式 SST = SSR + SSE构造F检验统计量 2.4 回归方程的显著性检验 三、F检验一元线性回归方差分析表P(F>F值)=P值SSR/1SSE/（n-2）SSRSSESST1n-2n-1回归残差总和P值F值均方平方和自由度方差来源2.4 回归方程的显著性检验 四、相关系数的显著性检验 2.4 回归方程的显著性检验 四、相关系数的显著性检验 2.4 回归方程的显著性检验 四、相关系数的显著性检验 附表1 相关系数=0的临界值表0.0810.06210000.4490.3493

10、00.6060.482150.1280.0984000.4560.355290.6230.497140.1480.1133000.4630.361280.6410.514130.1810.1382000.4700.367270.6610.532120.2080.1591500.4780.374260.6840.553110.2280.1741250.4870.381250.7080.576100.2540.1951000.4960.388240.7350.60290.2670.205900.5050.396230.7650.63280.2830.217800.5150.404220.7980.

11、66670.3020.232700.5260.413210.8340.70760.3250.250600.5370.423200.8740.75450.3540.273500.5490.433190.9470.81140.3720.288450.5610.444180.9590.87830.3930.304400.5750.456170.9900.95020.4180.325350.5900.468161.0000.99711%5%n-21%5%n-21%5%n-22.4 回归方程的显著性检验 四、相关系数的显著性检验 用SPSS软件做相关系数的显著性检验 2.4 回归方程的显著性检验 四、相

12、关系数的显著性检验 两变量间相关程度的强弱分为以下几个等级：当|r|0.8时，视为高度相关；当0.5|r| 0.8时，视为中度相关；当0.3|r| 0.5时，视为低度相关；当|r| 0.3时，表明两个变量之间的相关程度极弱， 在实际应用中可视为不相关。2.4 回归方程的显著性检验 五、三种检验的关系H0: b=0H0: r=0H0: 回归无效2.4 回归方程的显著性检验 六、样本决定系数 可以证明2.5 残差分析 一、残差概念与残差图 残差 误差项 残差ei是误差项ei的估计值。 2.5 残差分析 一、残差概念与残差图 2.5 残差分析 一、残差概念与残差图 图 2.6 火灾损失数据残差图2.

13、5 残差分析 二、残差的性质 性质1 E (ei)=0 证明:2.5 残差分析 二、残差的性质 性质2其中称为杠杆值 2.5 残差分析 二、残差的性质 2.5 残差分析 二、残差的性质 性质3. 残差满足约束条件: 2.5 残差分析 三、改进的残差 标准化残差学生化残差2.6 回归系数的区间估计 等价于1的1-置信区间 2.7 预测和控制 一、单值预测 2.7 预测和控制 二、区间预测找一个区间（T1,T2），使得 需要首先求出其估计值的分布 1因变量新值的区间预测二、区间预测 1 因变量新值的区间预测以下计算的方差从而得二、区间预测 1 因变量新值的区间预测记于是有 则二、区间预测 1 因变

14、量新值的区间预测y0的置信概率为1-的置信区间为 y0的置信度为95%的置信区间近似为 二、区间预测 2 因变量平均值的区间估计得E(y0)的1-的置信区间为 E(y0)=0+1x0是常数二、区间预测 计算 对例2.1的火灾损失数据，假设保险公司希望预测一个距最近的消防队x0=3.5公里的居民住宅失火的损失 点估计值95%区间估计 单个新值： （22.32，32.67） 平均值E(y0)：（26.19，28.80） 的95%的近似置信区间为 =（27.50-22.316，27.50+22.316）=（22.87，32.13） 三、控制问题 给定y的预期范围(T1, T2),如何控制自变量x的值

15、才能以1-的概率保证 用近似的预测区间来确定x。如果=0.05,则要求 把带入2.8 本章小结与评注 一、一元线性回归模型从建模到应用的全过程例2.2 全国人均消费金额记作y(元); 人均国民收入记为x(元)表2.2 人均国民收入表2.8 本章小结与评注 二、有关回归假设检验问题 1973年Anscombe构造了四组数据, 这四组数据所建的回归方程是相同的,决定系数,F统计量也都相同,且均通过显著性检验。 2.8 本章小结与评注 第三章 多元线性回归 3.1 多元线性回归模型3.2 回归参数的估计3.3 参数估计量的性质3.4 回归方程的显著性检验3.5 中心化和标准化3.6 相关阵与偏相关系

16、数3.7 本章小结与评注 3.1 多元线性回归模型一、多元线性回归模型的一般形式 y=0+1x1+2x2+pxp+3.1 多元线性回归模型一、多元线性回归模型的一般形式 对n组观测数据 (xi1, xi2,xip; yi), i=1,2,n,线性回归模型表示为:3.1 多元线性回归模型一、多元线性回归模型的一般形式 写成矩阵形式为: y=X+, 其中,3.1 多元线性回归模型二、多元线性回归模型的基本假定 1. 解释变量x1,x2,xp是确定性变量,不是随机变量,且要求rk(X)=p+1n。表明设计矩阵X中的自变量列之间不相关,X是一满秩矩阵。3.1 多元线性回归模型二、多元线性回归模型的基本

17、假定 2 .随机误差项具有0均值和等方差,即 这个假定称为Gauss-Markov条件 3.1 多元线性回归模型二、多元线性回归模型的基本假定 3. 正态分布的假定条件为: 用矩阵形式(3.5)式表示为: N(0, s2In)3.1 多元线性回归模型二、多元线性回归模型的基本假定 在正态假定下: yN(X, s2In)E(y)=Xvar(y)= s2In 3.1 多元线性回归模型三、多元线性回归方程的解释 y表示空调机的销售量,x1表示空调机的价格,x2表示消费者可用于支配的收入。y=0+1x1+2x2+E(y)=0+1x1+2x2在x2保持不变时,有在x1保持不变时,有3.1 多元线性回归模

18、型三、多元线性回归方程的解释 考虑国内生产总值GDP和三次产业增加值的关系， GDP=x1 + x2+ x3现在做GDP对第二产业增加值x2的一元线性回归，得回归方程3.1 多元线性回归模型43 720.672 387.2 20 768.1 136 875.9 200439 188.0 61 274.1 16 928.1 117 390.2 200336 074.8 52 980.2 16 117.3 105 172.3 200233 153.0 48 750.0 15 411.8 97 314.8 200129 904.6 44 935.3 14 628.2 89 468.1 200027

19、037.7 40 557.8 14 472.0 82 067.5 199925 173.5 38 619.3 14 552.4 78 345.2 199823 028.7 37 222.7 14 211.2 74 462.6 199720 427.5 33 612.9 13 844.2 67 884.6 199617 947.2 28 537.9 11 993.0 58 478.1 199514 930.0 22 372.2 9 457.2 46 759.4 199411 323.8 16 428.5 6 882.1 34 634.4 19939 138.6 11 699.5 5 800.0

20、26 638.1 19927 227.0 9 102.2 5 288.6 21 617.8 19915 813.5 7 717.4 5 017.0 18 547.9 1990第三产业增加值x3第二产业增加值x2第一产业增加值x1GDP年份3.1 多元线性回归模型三、多元线性回归方程的解释 建立GDP对x1和x2的回归，得二元回归方程=2 914.6+0.607 x1+1.709 x2你能够合理地解释两个回归系数吗 ？3.2 回归参数的估计 一、回归参数的普通最小二乘估计 最小二乘估计要寻找3.2 回归参数的估计 一、回归参数的普通最小二乘估计 3.2 回归参数的估计 一、回归参数的普通最小二乘

21、估计 经整理后得用矩阵形式表示的正规方程组 移项得存在时，即得回归参数的最小二乘估计为：3.2 回归参数的估计 二、回归值与残差为回归值 称为帽子矩阵，其主对角线元素记为hii ，则3.2 回归参数的估计 二、回归值与残差 此式的证明只需根据迹的性质tr(AB)=tr(BA),因而3.2 回归参数的估计 二、回归值与残差 cov(e,e)=cov(（I-H）Y,（I-H）Y) =（I-H）cov(Y,Y)（I-H） =2（I-H）In（I-H）=2（I-H）得 D(ei)=(1-hii)2，i=1,2,n3.2 回归参数的估计 二、回归值与残差 是2的无偏估计 3.2 回归参数的估计 三 、回

22、归参数的最大似然估计 yN(X,2In)似然函数为 等价于使(y-X)(y-X)达到最小,这又完全与OLSE一样3.2 回归参数的估计 例3.1国际旅游外汇收入是国民经济发展的重要组成部分，影响一个国家或地区旅游收入的因素包括自然、文化、社会、经济、交通等多方面的因素，本例研究第三产业对旅游外汇收入的影响。中国统计年鉴把第三产业划分为12个组成部分，分别为x1农林牧渔服务业,x2地质勘查水利管理业,x3交通运输仓储和邮电通信业,x4批发零售贸易和餐饮业,x5金融保险业,x6房地产业,x7社会服务业,x8卫生体育和社会福利业，x9教育文化艺术和广播,x10科学研究和综合艺术,x11党政机关，x1

23、2其他行业。采用1998年我国31 个省、市、自治区的数据，以国际旅游外汇收入（百万美元）为因变量y，以如上12 个行业为自变量做多元线性回归，数据见表3.1，其中自变量单位为亿元人民币。3.2 回归参数的估计 3.3 参数估计量的性质 性质1 是随机向量y的一个线性变换。性质2 是的无偏估计。 3.3 参数估计量的性质 3.3 参数估计量的性质 当p=1时 3.3 参数估计量的性质 性质4 Gauss-Markov定理预测函数 是 的线性函数 Gauss-Markov定理 在假定E(y)=X, D(y)=2In时,的任一线性函数 的最小方差线性无偏估计(Best Lnear Unbiased

24、 Estimator简记为BLUE)为c,其中c是任一p+1维向量, 是的最小二乘估计。3.3 参数估计量的性质 第一，取常数向量c的第j（j=0,1,n）个分量为1，其余分量为0，这时G-M定理表明最小二乘估计是j的最小方差线性无偏估计。 第二，可能存在y1, y2 , , yn的非线性函数，作为 的无偏估计，比最小二乘估计 的方差更小。 第三，可能存在 的有偏估计量，在某种意义（例如均方误差最小）下比最小二乘估计 更好。 第四，在正态假定下， 是 的最小方差无偏估计。也就是说，既不可能存在y1, y2 , , yn的非线性函数，也不可能存在y1, y2 , , yn的其它线性函数，作为 的

25、无偏估计，比最小二乘估计 方差更小。3.3 参数估计量的性质 性质5 cov（，e）=0此性质说明 与e不相关,在正态假定下等价于与e独立,从而与 独立。性质6 在正态假设(1)(2)3.4 回归方程的显著性检验 一、F检验 H0:1=2=p=0SST = SSR + SSE 当H0成立时服从3.4 回归方程的显著性检验 一、F检验 P(F>F值)=P值SSR/pSSE/(n-p-1)SSRSSESSTpn-p-1n-1回归残差总和P值F值均方平方和自由度方差来源3.4 回归方程的显著性检验 二、回归系数的显著性检验 H0j:j=0, j=1,2,p（,（X）-1）记 (X)-1=（ci

26、j) i,j=0,1,2, ,p构造t统计量 其中3.4 回归方程的显著性检验 二、回归系数的显著性检验 （剔除x1)3.4 回归方程的显著性检验 二、回归系数的显著性检验 3.4 回归方程的显著性检验 二、回归系数的显著性检验 从另外一个角度考虑自变量xj的显著性。y对自变量x1,x2,xp线性回归的残差平方和为SSE，回归平方和为SSR，在剔除掉xj后，用y对其余的p-1个自变量做回归，记所得的残差平方和为SSE（j），回归平方和为SSR（j），则 自变量xj对回归的贡献为SSR（j）=SSR-SSR（j），称为xj的偏回归平方和。由此构造偏F统计量3.4 回归方程的显著性检验 二、回归系

27、数的显著性检验 当原假设H0j ：j=0成立时，（3.42）式的偏F统计量Fj服从自由度为(1,n-p-1)的F分布，此F检验与（3.40）式的t检验是一致的，可以证明Fj=tj23.4 回归方程的显著性检验 三、回归系数的置信区间可得j的置信度为1-的置信区间为：3.4 回归方程的显著性检验四、拟合优度 决定系数为： y关于x1,x2,xp的样本复相关系数3.5 中心化和标准化 一、中心化 经验回归方程 经过样本中心 将坐标原点移至样本中心，即做坐标变换： 回归方程转变为：回归常数项为3.5 中心化和标准化 二、标准化回归系数 当自变量的单位不同时普通最小二乘估计的回归系数不具有可比性，例如

28、有一回归方程为:其中x1的单位是吨, x2的单位是公斤3.5 中心化和标准化 二、标准化回归系数 样本数据的标准化公式为： 得标准化的回归方程 3.5 中心化和标准化 二、标准化回归系数 标准化回归系数3.6 相关阵与偏相关系数 一、样本相关阵自变量样本相关阵 增广的样本相关阵为： 3.6 相关阵与偏相关系数 一、样本相关阵1.0000.6130.1550.5330.5480.1900.4930.5150.4370.4570.3370.3010.038X120.6131.0000.2410.8950.9060.6490.6660.7050.8490.8550.7600.7580.257X110

29、.1550.2411.0000.5690.4040.5410.6460.6300.3480.3140.1180.1500.673X100.5330.8950.5691.0000.9310.8340.8210.8500.8920.8890.6860.7190.575X90.5480.9060.4040.9311.0000.7810.7530.7900.9260.8670.6600.6910.379X80.1900.6490.5410.8340.7811.0000.7030.7400.8870.8850.6020.6630.741X70.4930.6660.6460.8210.7530.7031.

30、0000.9890.7430.7100.4640.5190.530X60.5150.7050.6300.8500.7900.7400.9891.0000.7800.7420.5020.5820.518X50.4370.8490.3480.8920.9260.8870.7430.7801.0000.9340.6580.7380.479X40.4570.8550.3140.8890.8670.8850.7100.7420.9341.0000.7730.6910.580X30.3370.7600.1180.6860.6600.6020.4640.5020.6580.7731.0000.6400.34

31、2X20.3010.7580.1500.7190.6910.6630.5190.5820.7380.6910.6401.0000.260X10.0380.2570.6730.5750.3790.7410.5300.5180.4790.5800.3420.2601.000YX12X11X10X9X8X7X6X5X4X3X2X1Y3.6 相关阵与偏相关系数 二、偏判定系数 当其他变量被固定后,给定的任两个变量之间的相关系数,叫偏相关系数。 偏相关系数可以度量p+1个变量y,x1,x2, xp之中任意两个变量的线性相关程度,而这种相关程度是在固定其余p-1个变量的影响下的线性相关。 3.6 相关阵与

32、偏相关系数 二、偏判定系数 偏判定系数测量在回归方程中已包含若干个自变量时，再引入某一个新的自变量后y的剩余变差的相对减少量，它衡量y的变差减少的边际贡献。3.6 相关阵与偏相关系数 二、偏判定系数 以x1表示某种商品的销售量， x2表示消费者人均可支配收入， x3表示商品价格。从经验上看，销售量x1与消费者人均可支配收入x2之间应该有正相关，简单相关系数r12应该是正的。但是如果你计算出的r12是个负数也不要感到惊讶，这是因为还有其它没有被固定的变量在发挥影响，例如商品价格x3在这期间大幅提高了。反映固定x3后x1与x2相关程度的偏相关系数r12；3会是个正数。3.6 相关阵与偏相关系数 1

33、两个自变量的偏判定系数二元线性回归模型为：yi=0+1xi1+2xi2+i记SSE（x2）是模型中只含有自变量x2时y的残差平方和，SSE(x1，x2)是模型中同时含有自变量x1和x2时y的残差平方和。因此模型中已含有x2时再加入x1使y的剩余变差的相对减小量为：此即模型中已含有x2时，y与x1的偏判定系数。3.6 相关阵与偏相关系数 1两个自变量的偏判定系数同样地，模型中已含有x1时，y与x2的偏判定系数为：3.6 相关阵与偏相关系数 2.一般情况在模型中已含有x2,xp时，y与x1的偏判定系数为：3.6 相关阵与偏相关系数 三、偏相关系数 偏判定系数的平方根称为偏相关系数，其符号与相应的回

34、归系数的符号相同。 例3.2 研究北京市各经济开发区经济发展与招商投资的关系，因变量y为各开发区的销售收入（百万元），选取两个自变量， x1为截至1998年底各开发区累计招商数目， x2为招商企业注册资本（百万元）。表中列出了至1998年底招商企业注册资本x2在5亿至50亿元的15个开发区的数据。3.6 相关阵与偏相关系数 三、偏相关系数 北京开发区数据70.12520.27282442.793546.1874442.82808.47120538.94901.7612234273357.7825224.18672.991871052.121639.315257.5862.75402815.42

35、087.0510014641160753.1750.32614002863.32532208.55896.3420122.24671.137553.963547.7925yx2x1yx2x13.6 相关阵与偏相关系数 三、偏相关系数 偏相关系数表3.6 相关阵与偏相关系数 三、偏相关系数 用y与x1做一元线性回归时，x1能消除y的变差SST的比例为再引入x2时，x2能消除剩余变差SSE（X1）的比例为因而自变量x1和x2消除y变差的总比例为=1-(1-0.651)(1-0.546)=0.842=84.2%。这个值84.2%恰好是y对x1和x2二元线性回归的判定系数R23.6 相关阵与偏相关系数

36、 三、偏相关系数 对任意p个变量x1,x2,xp定义它们之间的偏相关系数其中符号ij表示相关阵第i行第j列元素的代数余子式验证3.7 本章小结与评注 例3.3 中国民航客运量的回归模型。y民航客运量(万人),x1国民收入(亿元),x2消费额(亿元),x3铁路客运量(万人),x4民航航线里程(万公里),x5来华旅游入境人数(万人)。根据1994年统计摘要获得1978-1993年统计数据 3.7 本章小结与评注 4152.7096.081054581594924882338319933311.5083.66996931298520223288619923335.6555.9195081109691

37、6557217819912746.2050.6895712966314384166019902450.1447.19113807900513176128319893169.4837.38122645803811738144219882690.2338.9111242963869313131019872281.9532.431085795552785999719861783.3027.721121104879702074419851285.2226.02110353390556525541984947.7022.91106044335847363911983792.4323.2799922305

38、442584451982776.7121.8295300279939414011981570.2519.5392204253136883431980420.3916.0086389219533502981979180.9214.8981491188830102311978x5x4x3x2x1y年份3.7 本章小结与评注 3.7 本章小结与评注 3.7 本章小结与评注 第四章 违背基本假设的情况 4.1 异方差性产生的背景和原因 4.2 一元加权最小二乘估计4.3 多元加权最小二乘估计4.4 自相关性问题及其处理 4.5 异常值与强影响点 4.6 本章小结与评注 第四章 违背基本假设的情况 Ga

39、uss-Markov条件 4.1 异方差性产生的背景和原因 一、异方差产生的原因 例4.1 居民收入与消费水平有着密切的关系。用xi表示第i户的收入量,yi表示第i户的消费额,一个简单的消费模型为:yi=0+1xi+i，i=1,2,n低收入的家庭购买差异性比较小,高收入的家庭购买行为差异就很大。导致消费模型的随机项i具有不同的方差。4.1 异方差性产生的背景和原因 二、异方差性带来的问题 当存在异方差时，普通最小二乘估计存在以下问题:(1)参数估计值虽是无偏的,但不是最小方差线性无偏估计;(2)参数的显著性检验失效;(3)回归方程的应用效果极不理想。4.2 一元加权最小二乘估计 一、异方差性的

40、检验（一）残差图分析法 图2.5（b)存在异方差4.2 一元加权最小二乘估计 一、异方差性的检验（二）等级相关系数法 等级相关系数检验法又称斯皮尔曼(Spearman)检验,是一种应用较广泛的方法。这种检验方法既可用于大样本,也可用于小样本。进行等级相关系数检验通常有三个步骤。 第一步,作y关于x的普通最小二乘回归,求出ei的估计值,即ei的值。4.2 一元加权最小二乘估计 （二）等级相关系数法 第二步,取ei的绝对值,分别把xi和|ei|按递增（或递减）的次序分成等级,按下式计算出等级相关系数:其中,n为样本容量,di为对应于xi和|ei|的等级的差数。4.2 一元加权最小二乘估计 （二）等

41、级相关系数法 第三步,做等级相关系数的显著性检验。在n8的情况下,用下式对样本等级相关系数rs进行t检验。检验统计量为:如果tt/2(n-2)可认为异方差性问题不存在，如果tt/2(n-2),说明xi与|ei|之间存在系统关系,异方差性问题存在。4.2 一元加权最小二乘估计 例4.3 设某地区的居民收入与储蓄额的历史统计数据如表4.1。(1)用普通最小二乘法建立储蓄y与居民收入x的回归方程,并画出残差散点图;(2)诊断该问题是否存在异方差;87779210995438200 264105902300 1 2 3 31居民收入x（万元） 储蓄y（万元） 序号 4.2 一元加权最小二乘估计 497

42、24286.1-286.1313820023003110010578.478.4152116312221525-519195.3-195.31419635819141-114145.5-145.51318575779133666102.7102.71217663950121110129.7129.7111673089811366478.0-78.0101552258810009129.0-129.0914269431949718.28.28134995038255225.1-25.17127474067289-1723253.4-253.46119121076100-1015159.4-159

43、.4510979122516-48110.5-110.5410508131416-47104.6-104.6399549031-1326.6-26.6292101052225-1516169.0169.0187772641di|ei|等级|ei|残差eixi等级居民收入x储蓄y序号4.2 一元加权最小二乘估计 图4.1 残差图4.2 一元加权最小二乘估计 用SPSS计算等级相关系数。 4.2 一元加权最小二乘估计 （2）计算等级相关系数。 4.2 一元加权最小二乘估计 Spearman等级相关系数可以反映非线性相关的情况，Pearson简单相关系数不能反映非线性相关的情况。例如x与y的取值如下

44、，1 4 9 16 25 36 49 64 81 100y1 2 3 4 5 6 7 8 9 10x1 2 3 4 5 6 7 8 9 10序号容易计算出y与x的简单相关系数r=0.9746，而y与x的等级相关系数rs=1具有完全的曲线相关。4.2 一元加权最小二乘估计 二、一元加权最小二乘估计消除异方差性的方法通常有： 加权最小二乘法, Box-Cox变换法, 方差稳定性变换法加权最小二乘法(Weighted Least Square,简记为WLS)是一种最常用的消除异方差性的方法。 4.2 一元加权最小二乘估计 二、一元加权最小二乘估计一元线性回归普通最小二乘法的残差平方和为： 一元线性回

45、归的加权最小二乘的离差平方和为： 4.2 一元加权最小二乘估计 加权最小二乘估计为： 其中， 是自变量的加权平均； 是因变量的加权平均。 4.2 一元加权最小二乘估计 观测值的权数应该是观测值误差项方差的倒数,即在实际问题中,误差项的方差是未知的,常与自变量x的幂函数xm成比例，其中m是待定的未知参数。此时权函数为4.2 一元加权最小二乘估计 三、寻找最优权函数利用SPSS软件可以确定幂指数m的最优取值。依次点选Analyze-Regression-Weight Estimation进入估计权函数对话框，默认的幂指数m的取值为m=-2.0，-1.5，-1.0，-0.5，0，0.5，1.0，1.

46、5，2.0。先将因变量y与自变量x选入各自的变量框，再把x选入Weight变量框，幂指数（Power）取默认值，计算结果如下（格式略有变动）：4.2 一元加权最小二乘估计 Log-likelihood Function = -224.258830 POWER value = -2.000Log-likelihood Function = -221.515008 POWER value = -1.500Log-likelihood Function = -218.832193 POWER value = -1.000Log-likelihood Function = -216.252339 PO

47、WER value = -.500Log-likelihood Function = -213.856272 POWER value = .000Log-likelihood Function = -211.773375 POWER value = .500Log-likelihood Function = -210.185972 POWER value = 1.000Log-likelihood Function = -209.316127 POWER value = 1.500Log-likelihood Function = -209.379714 POWER value = 2.000

48、The Value of POWER Maximizing Log-likelihood Function = 1.500Log-likelihood Function = -209.316127 4.2 一元加权最小二乘估计 Multiple R .96744R Square .93595Adjusted R Square .93374Standard Error .12532 DF Sum of Squares Mean Square F SigRegression 1 6.6548981 6.6548981 423.741 0.000Residuals 29 .4554477 .0157

49、051Analysis of Variance:Variable B SE B Beta T Sig TX .08793 .004272 .967443 20.585 .0000(Constant) -719.12 78.316 -9.182 .0000Variables in the Equation4.2 一元加权最小二乘估计 幂指数m的最优取值为m=1.5。加权最小二乘的r2=0.9360，F值=423.741；普通最小二乘的r2=0.912，F值=300.732。说明加权最小二乘估计的效果好于普通最小二乘的效果。4.2 一元加权最小二乘估计 图4.2 加权最小二乘残差图残差图4.2 一

50、元加权最小二乘估计 -58-785.1710E-071552258810-105-1295.8669E-071426943193586.3760E-071349950384-256.9485E-07127474067-221-2537.6917E-07119121076-124-1598.6927E-07109791225-74-1119.2837E-07105081314-66-1051.0069E-06995490314-271.1314E-06921010522111691.2161E-0687772641小方差组 序号4.2 一元加权最小二乘估计 1761832.6684E-07241271578174314522.1005E-07283002200211151342.1726E-0727670182920-211-1952.3181E-07265001400191221342.4408E-07256041654184094132.8895E-072288017021680783.2481E-0721163122215-188-1953.6346E-071963581914-135-1463.9501E-0718575779131161034.2599E-0717663950121461304.6212E-071673089811中等方差组 序号4.2