回归分析理论

《回归分析理论》由会员分享，可在线阅读，更多相关《回归分析理论（14页珍藏版）》请在装配图网上搜索。

1、回归分析第一节回归分析的意义一、什么是回归分析回归分析是根据一个已知变量来预测另一个变量平均值的统计方法。回归与相关之间既存在着密不可分的关系，也有本质的区别。从关系看，若两变量无 相关时（即r=0），则不存在预测的问题；若两变量存在关系，那么相关程度愈高，误差愈 小，预测的准确性越高。当变量完全相关时（即r=1），意味着不存在误差，其预测将会完 全准确的。从区别看，一是相关表示两个变量双方向的相互关系，回归只表示一个变量随另 一个变量变化的单方向关系。二是回归中有因变量和自变量的区分，相关并不表明事物的因 果关系，对所有的研究变量平等看待，不作因变量、自变量的区分二、回归分析的内容通过回归分

2、析主要解决以下几个问题：（1）确定几个变量之间的数学关系式。（2）对所确定的数学关系式的可信程度进行各种统计检验，并区分出对某一特定变量 影响较为显著的变量和影响不显著的变量。（3）利用所确定的数学关系式，根据一个或几个变量的值来预测或控制另一个特定变 量的取值，并给出这种预测或控制的精确度。回归分析内容：（一）建立回归方程（二）检验方程的有效性（三）利用方程进行预测（四）进行因素分析第二节 一元线性回归方程的建立一、一元线性回归意义一元线性回归是指只有一个自变量的线性回归（linear regression），对具有线性关系的 两个变量，回归的目的首先是找出因变量（一般记为）关于自变量（一般

3、记为X）的定 量关系。如例11-1： 10位大一学生平均每周所花的学习时间及他们期末考试成绩。观察数据我 们可以发现两者之间呈正相关，不过更直接的方法是绘制散点图，即分别用两列变量做横、 纵轴，描点。若它们的分布在一条带状区域，就预示着两列变量之间有相关，如图11-1所 示。若没有随机误差的影响，这些点将落在一条直线上，这条直线称回归线（regression line）， 它是描述因变量Y关于自变量X关系的最合理的直线。图11-1 两列变量的关系图元线性回归方程Y = a + bX因回归表示两个变量单方向的推算关系， 所以既可以用X去预测Y，也可以用Y去预、 一Y = b X + a八一X=b

4、Y+aY测X。因此，回归方程有两个。以X为自变量预测因变量Y时，方程为以Y为自变量预测因变量X时，方程为三、b和a的求解原则和方法（一）最小二乘法建立一个线性回归方程实际上就是确定一条直线，也就是求公式中的两个常数一一截距 a和回归系数b，而研究这样一条直线的常用方法是最小二乘法，这种方法需要我们找到这 样一条直线，使所有的点到直线的垂直距离的平方和最小，也称最小平方法或最小二乘估计。就Y = bXYX + aXY方程而方，对平面上任何一条直线我们都可以用数量（Y（- Y ）去刻划X Y-Y70点（X , Y ）到这条直线的远近。其中，Y是实际观测值，丫（是估计值。由于/ 0，所以当我们用Y去

5、估计Y时，要使其估计的误差平方和X Y 丫龙尽可能小。当X Y一Y力最 小时，方程Y = bYXX + aYX所表示的直线就是最优拟合直线。所以求最优拟合方程的问题就可以归结为根据实际观测值求出Y 一 bYxX aYX方程中的两个常数a和b ,的值最小。Z X.根据数学分析中的极值原理，当E Y - Y”最小时，Y = bYXX + aYX中的常数a和b可以由下列公式求出b _ (X - X )(Y - Y) _ &(X - X)2产_XXa _ Y - bX某一点的误差为 八一人_Y - Y _ (Y - Y) - (Y - Y)回归线之斜率为对边比邻边，即有八Y - Y bX - X _

6、. .Y - Y _ b (X - X)将代入，有Y - Y _ (Y - Y) - b(X - X)将误差平方，则有 _Y - Y2 _L (Y - Y) - b( X - X) J2各个点误差的平方和为2 (Y - Y)2 _EI1(Y - Y) - b(X -将代入，有(Y - Y)2 ( Y_” A =2 (Y - Y) - (X - X) _ 2(Y - a - bX )2由2 (Y - Y )2 =2 (Y-a - bY )2分别求a , b的偏导数，并令它们等于0，则有 q2(Y - a - bX)2 J 八 _ 0t6a(Y - a - bX)2 J 八db根据偏导数特性，有-

7、2 2(Y - a - bX) = 02 2 (Y a bX) X = 0整理后，则有2(Y - a - bX) = 02(XY - aX - bX 2) = 0_ 0E(Y - a - bX) = 0EY-Ea -bEX = 0 E a = E Y - b E X a = Y - bX将 a = Y - bX弋入 E(XY 2 - bX 2)= 0，得 eXy - (Y -bX)X -bX2=0E XY-E XY + b E XX - b E X 2 = 0E xy-E X EY - b(E X 2-E X)= 0nn7 EXY-EX EY/n b =E X 2 - (E X)2 /nE(X

8、 - X)(Y - Y)E(X - X)2回归系数b和截距a的计算公式分别为 人 _E(X - X)(Y - Y) b YXE(X - X)2a = Y - bX = E Y - b E X YXnX = bY + a方程中求a , b的公式为人E(X - X)(Y - Y)bXY所以，同理，E(Y - Y )2a = X - bY = E X - b E YXYn回归系数的其他计算法1.定义式bYXbXYE(X - X)(Y - Y)E(X - X)2E(X - X)(Y - Y)E(Y - Y )22 .计算式7EXY-EX EY/nb =YX E X 2 - (E X)2 /nEXY-E

9、X EY/nE Y 2-(E Y )2/nE(X - X)(Y - Y)E(X - X)2E(XY - X - Y - XY + X - Y)E(X2 -2XX- X2)bXYbYXE(XY - X - Y - XY + 又-Y)E( X 2 2XX 又 2)EXEyEX_exEy+eEX EYN , NNEX2 -2EX 互 + ENE x E y E x E yE XY - 2+Ex 但 NE X 2 - 2E X EyE XY同理，有bYXE(X - X)(Y - Y)E(X - X)2EXY-EXEY nE X 2 但 X ) nbXYE(X - X)(Y - Y)EXY-XY n 区

10、 y1 nE Y 2根据例11-1的数据可以计算有关的统计量如下，求其回归系数和截距。E(Y - Y )2E X = 290，E Y = 760，E X 2 = 9714E Y 2 = 59152，X = 29，Sx = 11.42Y = 76，七=11.80E XY = 2301123011 - 290 x 760 10 b =yx 9714 - 2902 109711304=0.74a = 76 - 0.74 x 29 = 54.54YX所以，以学习时间预测考试成绩的回归方程为人_一一Y = 0.74X + 54.54若某人的学习时间为35小时，其考试成绩则为Y = 0.74 x 35 +

11、 54.54 = 80.443.相关系数法b = -y-YX SXS=r -xSY _E(X - X)(Y - Y)E(X - X)2bXYbYXzG -又)C - y ).、浴。y )_ x) % zG _ 又) F（1, 8）0.05 = 5,32 , P 0.05），则b与 = 0之间无显著差异，其差异主要是抽样误差，可忽略不计，说明b是 来自 = 0总体。这时即使计算的b值较大也不能认为X与r之间存在线性关系。相反， 若b在以 = 0的抽样分布上出现误差的概率较小（即P *.05 2 = 2.31，p 0.05，关系显著。拒绝虚无假设，接受研究假设，表明两个变量之间存在显著的线性关 系

12、。第四节预测一、预测的意义建立回归方程的最终目的是利用方程从已知事实推测相应的未知事实，即进行预测（forecast）。预测是将已知变量值作为自变量代入相应的回归方程而推算出另一个变量的 估计值及置信区间统计方法。二、预测的标准误（一）定义式SE =M胃 N - 2（二）相关法当样本容量很大时，且膜/T）接近于1时，又已知两个样本的相关系数和标准差，可用下式计算预测的标准误，即SE = Sl - r 2注意此公式的条件限制，n 8，,n/（n-1）1。例如：三、预测的置信区间就丫 = bX + a而言，其预测区间为人.一一一一 一一一Y = Y 土 1.96SE或 Y = Y 土 2.58SE如例11-1，其预测的标准误和置信区间为SE = 111 0.722 = 8.19 YXY = 80.44 1.96 x 8.19 = 64.39 96.49学习时间为35小时的学生，其测验成绩有95%的可能落在64.3996.49分之间。这 个置信区间较大，一是因为样本容量较小，二是因为预测的标准误较大。