多元线性回归预测法ppt课件

《多元线性回归预测法ppt课件》由会员分享，可在线阅读，更多相关《多元线性回归预测法ppt课件（43页珍藏版）》请在装配图网上搜索。

1、1多元线性回归预测法 系数 2一、多元线性回归模型 设随机变量y与x1,x2,xp一般变量的线性回归模型为iippiiixxxy22110(4-20)其中，是p+1个未知参数，称为回归常数，称为回归系数。y称为因变量，而x1,x2,xp是p个可以精确测量并可控制的一般变量，称为自变量。是随机误差，对随机误差项假定p,100p,1i jijiEDjiii,0,cov022ni,2,1nji,2,1,3对一个实际问题，如果我们获得n组观测数据（xi1,xi2,xip;yi),i=1,2,n，则线性回归模型式（4-20）可表示为nnppnnnppppxxxyxxxyxxxy2211022222211

2、021112211101写成矩阵形式为 XBy(4-21)4其中npnpnnppnBxxxxxxxxxXyyyy211021222211121121,111,(4-22)51.回归系数B的估计 采用最小二乘法估计，设观察值与模型估计值的残差为E，则XBYYYE其中(4-23)根据最小平方法要求，应有最小值)()(YYYYEE即最小值)()(XBYXBYEE6由极值原理，根据矩阵求导法则，对B求导，并令其等于零，则得0222BXXXYBXBXBXBYYYBXBYXBYBEE整理得回归系数向量B的估计值YXXXB1(4-24)72.二元线性回归方程回归系数的估计二元线性回归方程为)2(,22110

3、pxxyiii此时2122211211210111,nnxxxxxxXB得出 的计算公式如下：210,niniiiniiniiiniiniiniiniiixxxxxxxxxxnXXA12121121211211112112(4-25)8niniiiniiiniiiniiniiiniiniiniiixxxyxxxxyxxxyA12121121211211112111021niniiiniiniiiniiiniiniiniiixyxxxxyxxxynA1211121211111121121niiniiiniiniiiniiniiniiniiyxxxxyxxxyxnAi112112111211111

4、1221(4-28)(4-27)(4-26)9以上计算公式较繁，较易算的计算公式为,1111niixnx,1122niixnxniiyny11,211111niixxS212222niixxS,2121111221xxxxSSnii,1111yyxxSiniiyyyxxSiniiy1222211222111222211SSSSSSSSyy211222112111122SSSSSSSSyy2210 xxy(4-30)(4-29)(4-31)10 1.复相关系数检验 检验线性关系密切程度的指标称为相关系数，在多元回归模型中，由于自变量在两个以上，所以称为复相关系数.样本复相关系数的计算公式是222

5、21yyyyyyyyRiiiiii(4-32)11复相关系数检验的步骤为：第一步，计算复相关系数二元回归方程复相关系数的计算常用其简捷公式222312121ynyyxyxyyRiiiiiii(4-33)三元回归方程R计算常用其简捷公式22342312121ynyyxyxyxyyRiiiiiiiii(4-34)12第二步，根据回归模型的自由度n-p和给定的显著性水平值 查相关系数临界表，得 值pnR第三步，判断。若 ，表明变量之间线性相关显著，检验通过，这时回归模型可用来进行预测。若 ，表明变量之间线性相关关系不显著，检验通不过，这时的回归模型不能用来预测，应分析原因，对回归模型重新加以处理。p

6、nRRpnRR132.拟合优度检验 拟合优度用于检验回归方程对样本观测值的拟合程度。定义复可决系数R2222221yyyyyyyyRiiiii(4-35)102 R复可决系数R2是检验多元线性回归模型拟合优度的度量指标，R2越接近1，表示拟合得越好；反之，则拟合得不好。14)1/()/(1222nyypnyyRiii定义一个校正R2，记为2R(4-36)这里，n-p是残差平方和 的自由度，n-1是总离差平方和 的自由度。根据式（4-35）和（4-36）可得与之间关系如下2iiyy2 yyipnnRR1)1(122(4-37)（1）当 时，。说明中包含了自变量个数的影响，随着自变量个数的增加，总

7、小于 .(2)尽管 总是非负的，但 都可能为负。若 为负，取值为0。1p22RR2R2R2R2R2R2R2R2R153.回归方程的显著性检验F检验原假设0:210pH 如果H0被接受，则表明随机变量y与x1,x2,xp之间的关系由线性回归模型表示不合适。F检验程序如下：第一步，计算统计量F的值。22)1/(/iiiyyQyyUpnQpUF(4-38)16第二步，对给定的显著性水平 ，查F分布表，得临界值1,pnpF 第三步，判断。若 ，则认为回归方程有显著意义，也就是p1=p2=pp=0不成立；反之，则认为回归方程不显著.1,pnpFFF统计量与可决系数，相关系数有以下关系：FppnFpRpp

8、nRRF111122(4-39)(4-40)174.回归系数的显著性检验t检验检验假设pjHj,2,1,0:0如果接受原假设 H0j，则 xj 不显著；如果拒绝原假设 H0j，则 xj是显著的。t检验的具体步骤如下：第一步，计算估计标准误差 其中二元和三元估计标准误差的简捷公式分别为12pnyySiiy(4-41)184334231212231212nyxyxyxyySnyxyxyySiiiiiiiiyiiiiiiy第二步，计算样本标准差式中 Cjj 为矩阵 (XX)-1 对角线上第j个元素。第三步，计算 t 统计量(4-43)(4-42)(4-44)(4-45)yjjScSjpjStjjj,

9、2,1 19第四步，对给定的显著水平 ，查自由度为n-p的t 分布表，得 。第五步，判断。若 ，则回归系数 与零有显著差异，必须保留 在原回归方程中，否则应去掉 重新建立回归方程。pnt2pnttj2|jjxjx20niiniiieeeDW12121(4-46)其中：，是 的估计值。因 的最初序号也必须是1，所以分子求和公式必须从2开始。将式（4-46）展开，得iiiyyeiniiniiniiiniieeeeeDW1222121222(4-47)1ie21 在大样本情况下，即n30，可以认为所以上式可以写成 （4-48）R1是 与 的相关系数 的估计量。当 与 正自相关时，R1 1,DW 0；

10、当 与 负相关时，R1 -1,DW 4；若不存在自相关或相关程度很小时，R1 0,DW 2。从式（4-48）可以看出，DW值在04之间。niiniiniieee2222122)1(21212221ReeeDWniiniiii1i1i1ii1i22根据DW统计量，检验模型是否存在自相关，其步骤如下：第一步，利用最小平方法求回归模型及残差 ；第二步，利用式（4-46）、（4-47）或（4-48）可以计算DW 统计量；第三步，确立假设 ，即假定回归模型不存在自相关；第四步，根据给定的检验水平及自变量个数p从DW检验表中查得相应临界值 。第五步，判断。DW的取值域在04之间。在 DW小于等于2时，DW

11、检验法则规定：如DW ,认为 无自相关；如 DW ,不能确定 是否存有自相关ie0:10HULdd,LdUdii,LdUdi23在DW大于2时，DW检验法则规定：如4-DW DW，认为 无自相关；如 4-DW ，不能确定 是否有自相关。由图4-2可以看出，值等于2时为最好。根据经验，DW统计量在1.52.5之间时表示没有显著自相关问题。LdiUdiLdUdi24f(D W)D W 2 dL 0 dU 4-dU 4-dL 4 无 自 相 关 区 负相关区 无结论区 负相关区 正相关区 无结论区 图 4-2 D W 统 计 量 的 范 围 与 有 无 序 列 相 关 的 范 围 关 系 图 从图4

12、-2可看出,DW检验的最大弊端是存在着无结论区域。无结论区域的大小与样本容量n和自变量个数p有关。当n一定时，p愈大，无结论区域也愈大；当p一定时，n愈大，无结论区就愈小。如果计算的DW统计量落到了无结论区域，那么，决策者就不能做出回归模型是否存在自相关现象的结论。25（2）产生自相关的原因及补救办法 当检验结果出现 和 情况时，说明随机误差项相互独立的假设不能成立，回归模型存在相关。在实际预测中，产生自相关的原因可能是：（i）忽略了某些重要的影响要素。（ii）错误地选用了回归模型的数学形式。（iii）随机误差项 本身的确是相关的。合适的补救办法是：（i）把略去的重要影响因素引入回归模型中来。

13、（ii）重新选择合适的回归模型形式。（iii）增加样本容量，改变数据的准确性。LdDW 044DWdLi266.多重共线性检验多重共线性检验的步骤如下：第一步，计算任何两个自变量和间的相关系数为22jjiijjixxxxxxxxxxrji第二步，对自变量作中心标准化，则XX=(rij)为自变量的相关阵。记 C=(cij)=(XX)-1称其主对角线元素VIFj=cjj为自变量xj的方差扩大因子（VIF）.经验表明，当 时，就说明自变量xj与其余自变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计值。(4-49)(4-50)10jVIF27多元回归模型的预测值和预测区间计算步

14、骤如下：（1）计算估计标准误差（2）记预测点为X0=(X01,X02,X0P)，则预测值为pnyySiiy2(4-51)BXy00预测误差 的样本方差为000 yye010220)(1XXXXSSy(4-52)28（3）当预测值 的显著性水平为 时，多元线性回归模型的预测区间为0 y(4-52)(4-53)由于这里X0的是一个影响因素数据向量，按公式（4-52）计算S0较复杂，故在实际预测中，一般运用SY代替S0近似地估计预测区间.30,30,)(02/002/0nSZynSpnty29 如果先将所有的变量xj和因变量进行标准化，取得标准化变量 和 ，再进行回归便可以得到标准化回归方程jjjj

15、sxxzyysyyzppyzzzz2211 因为z变量是无量纲变量，所以它们的回归系数称为标准化回归系数，它表示当其它变量不变时，xj变化一个标准单位，y的标准差的平均变化 。由于标准化消除了原来自变量不同的测量单位，于是 之间可以互相比较，它们绝对值的大小就代表了各自对y作用的大小。jj30计算 的另一种计算方法为jjyjjss 其中sy和sj分别为原变量y和原自变量sj的标准差。一般统计软件都能够同时输出回归系数 和标准化回归系数 .jj31案例 承上例，该饮料公司的许多零售点设在体育比赛场地，该公司明白，当比赛一边倒时，观众会比往常喝得多一些，因为这时观众就有时间注意到口渴，而不是把注意

16、力完全集中在比赛场上。因此，可以利用比赛结束时的比分差作为第二个自变量，其预测模型就成为：饮料销售量=b0+b1气温+b2比分差32表4-5 二元回归分析计算表时期（）销售量()温度()比分差()（1）（2）（3）（4）（5）（6）（7）（8）（9）（10）143030121290036051609001442500233521107025210335044110020253520352218200770114401225484196004490426205802522940176436121005470378173902963760136964810062102024200404204004

17、2890071958915607217556481342258270178459013621602896481940035614000210240012253640010480251712000425816062528910000合计380027010011245527714154583021302129950iiy1 ix1 ixiix y12iix y2iix y21 ix22ix2iyy33时期（i）(12)(13)(14)(15)(16)194150100623602700036414411201680964225161650-440-6051004900-180-2064964119

18、0136056736113515185198100411002202096416160-80-3210449-200700-14合计10123029855354571211ixx222ixx11iiyyxx22iiyyxx1122iixxxx34解 （1）设饮料销售量为y，气温为x1，比分差为x2，则二元回归模型为 （2）计算回归系数。01122iiiybb xb x211122222112211222211222()()9855 3023545 711012 302719.064iiiiiiiiiiibxxyyxxxxyyxxxxxxxxxxxx 3522221111211221122221

19、12220122()()3545 10129855 711012 302718.810738002701009.648.810710101047.165iiiiiiiiiiibxxyyxxxxyyxxxxxxxxxxxxbyb xb x 所求回归预测模型为：1239.1989.0649.6074iiiyxx36（3）R检验201222221157395047.165 38009.064 112455 8.8107 41545 11573950 10 380 0.963iiiiiiiybybx ybx yRyny当显著水平 =0.05，=10-3=7时，=0.666，因 ，说明相关关系显著。np

20、 0.057R0.05(7)RR37(4)拟合优度检验 由此可见，此回归模型解释了饮料销售变差的94.9%，而一元线性回归模型只解释了饮料销售量变差的74%。928.0963.022R(5)F检验11.4513310928.01928.01122ppnRRF当显著水平 =0.05时，F0.05（3-1，10-3）=4.74 ，说明回归效果非常显著。)7,2(74.405.0FF38(6)t检验63.307415456074.9112455064.93800198.391573905310222102iiiiiiyyxbyxbybyS这个数据与一元线性回归获得的标准误差65相比，多元回归的标准误

21、差缩小了一半多，在对标准性要求更高的预测中，就能表现出这种误差缩小的好处。39130227711002771830227010027010)(222122112121iiiiiiiiiixxxxxxxxxxnXX0034.00002.00273.00002.00010.00248.00273.00248.00416.1)(1XX933.4786.18107.8358.99686.0064.9786.163.300034.09686.063.300010.0223112332221bbybybSbtSbtScSScS 当显著水平 =0.05时，t0.05/2（10-3）=2.365 因为 和 均

22、大于t0.05/2（7）=2.365，故拒绝假设b1=0和b2=0。因此可以断言，气温和比分差对饮料销售量有显著影响。2t3t40(7)DW检验时间（i）(1)销售量(y)(2)温度(x)(3)比分差（z）(4)(5)(6)(ei-ei-1)2(7)1234567891043033552049047021019527040048030213542372081735251210226829861749-481219-30-30-145116812304144361900901962601-253249360049240172991964225总数3800661214483总数/n380iiiyy

23、e22iiiyye4119.266121448312221niiniiieeeDW 当显著水平 =0.05，p=3,n=10时,查DW检验表，因DW检验表中样本容量n最低为15，故取dL=0.82和dU=1.75,即DW统计量在dU=1.75 DW=2.19 4-Du=2.25之间。检验结果表明回归模型不存在自相关。42(8)多重共线性检验自变量x1和x2之间的相关系数128.0302101271222112211212xxxxxxxxriiiixx ,说明本题没有多重共线性的问题。5.021xxr43(9)预测（i）当气温 ，比分差x2=8时，代入回归模型得的点估计值为（ii）当显著性水平 =0.10，自由度n-p=7时，查t分布表得 t0.05（7）=1.895 预测区间 这是一个很大的改进，因为对一元线性回归模型而言，概率为90%的置信区间为458+130，而对于二元线性回归模型，当气温为 ，比分差为8时，其预测的近似置信范围在375491箱之间，其概率保证程度为90%。cx 351)(43386074.935064.9198.390箱yc355843363.30895.14332/0ySpnty