多元线性回归分析l论课件

《多元线性回归分析l论课件》由会员分享，可在线阅读，更多相关《多元线性回归分析l论课件（48页珍藏版）》请在装配图网上搜索。

1、多元线性回归分析多元线性回归分析多元线性回归分析l论课件例15-1 27名糖尿病人的血清总胆固醇、甘油三脂、空腹胰岛素、糖化血红蛋白、空腹血糖的测量值列于表15-2中，试分析哪些指标能影响血糖水平，并血糖建立与其它几项关系的这些指标的回归关系。多元线性回归分析l论课件多元线性回归分析l论课件多元线性回归分析多元线性回归分析一、一、多元回归方程的概念多元回归方程的概念二、二、多元回归分析步骤多元回归分析步骤三、三、标准化偏回归系数标准化偏回归系数四、四、自变量的筛选自变量的筛选五、五、回归方程的总体评价回归方程的总体评价六、六、多元线性回归的应用多元线性回归的应用七、七、应用多元线性回归分析时需

2、注意的事项应用多元线性回归分析时需注意的事项多元线性回归分析l论课件 b0为回归方程的常数项；为回归方程的常数项；p为自变量的个数；为自变量的个数；b1、b2、bp为偏回归系数（为偏回归系数（Partial regression coefficient）意义：如意义：如 b1 表示在表示在X2、X3 Xp固定条件下，固定条件下，X1 每增减一个单位对每增减一个单位对Y的效应（的效应（Y增减增减 b 个单位）。个单位）。表达式：表达式：一一.多元回归方程的概念多元回归方程的概念多元线性回归分析l论课件二二.多元回归分析步骤多元回归分析步骤（1）用各变量的数据建立回归方程用各变量的数据建立回归方程

3、；多元线性回归分析l论课件由上表由上表 得到如下多元线性回归方程：得到如下多元线性回归方程：多元线性回归分析l论课件（2）对总的方程进行假设检验对总的方程进行假设检验结果无显著性结果无显著性 1）表明所观察的自变量与应变量不存在线性回归）表明所观察的自变量与应变量不存在线性回归关系；关系；2）也可能由于样本例数过少；）也可能由于样本例数过少；结果有显著性结果有显著性 表明至少有一个自变量与应变量之间存在线性回归表明至少有一个自变量与应变量之间存在线性回归关系。关系。多元线性回归分析l论课件（3）当总的方程有显著性意义时）当总的方程有显著性意义时应对每个自变量的偏回归系数再进行假设检验，应对每个

4、自变量的偏回归系数再进行假设检验，若某个自变量的偏回归系数无显著性，则应把该变量若某个自变量的偏回归系数无显著性，则应把该变量剔除，重新建立不包含该变量的多元回归方程。剔除，重新建立不包含该变量的多元回归方程。对新建立的多元回归方程及偏回归系数按上述对新建立的多元回归方程及偏回归系数按上述程序进行检验，直到余下的偏回归系数都具有统计意程序进行检验，直到余下的偏回归系数都具有统计意义为止。最后得到最优方程。义为止。最后得到最优方程。多元线性回归分析l论课件上例资料多元回归方程上例资料多元回归方程1的偏回归系数检验结果如下的偏回归系数检验结果如下：有上表可知，有上表可知，X1被剔除。被剔除。注意：

5、注意：注意：注意：通常每次只剔除关系最弱的一个因素。通常每次只剔除关系最弱的一个因素。由方程中由方程中剔剔除因素的标准（通常除因素的标准（通常 =0.10）多元线性回归分析l论课件重新建立不包含剔除因素的回归方程重新建立不包含剔除因素的回归方程多元线性回归分析l论课件对新建立的回归方程进行检验对新建立的回归方程进行检验检验结果有显著性意义检验结果有显著性意义多元线性回归分析l论课件对新方程的偏回归系数进行检验对新方程的偏回归系数进行检验检验结果有意义，因此回归方程保留因素检验结果有意义，因此回归方程保留因素X2、X3、X4 最后获得回归方程为：最后获得回归方程为：多元线性回归分析l论课件三三.

6、标准化偏回归系数标准化偏回归系数定义：定义：消除测量单位影响后的偏回归系数。消除测量单位影响后的偏回归系数。意义：意义：在许多情况下需要比较各自变量对因变在许多情况下需要比较各自变量对因变量的相对贡献大小。但由于各自变量的测量量的相对贡献大小。但由于各自变量的测量单位不同，单从各偏回归系数的绝对值大小单位不同，单从各偏回归系数的绝对值大小来评价是不妥的，必须对各偏回归系数进行来评价是不妥的，必须对各偏回归系数进行标准化处理，即消除测量单位的影响后，才标准化处理，即消除测量单位的影响后，才能进行比较。能进行比较。多元线性回归分析l论课件举举 例例例例 y=14+4X 是是17岁儿童以年龄岁儿童以

7、年龄X(岁岁)估估计体重计体重Y(市斤市斤)的回归方程。若体重单位由市的回归方程。若体重单位由市斤换成公斤，则回归系数是否发生改变？斤换成公斤，则回归系数是否发生改变？若年龄单位为月若年龄单位为月？多元线性回归分析l论课件标准偏回归系数计算标准偏回归系数计算 bj=bj Sj /SY bj为为X的偏回归系数的偏回归系数;Sj为自变量的标准差为自变量的标准差;SY 为因变量的标准差为因变量的标准差;若将各变量先经标准状态化处理后，再进行多元回若将各变量先经标准状态化处理后，再进行多元回归，则所得到的偏回归系数即为标准偏回归系数。归，则所得到的偏回归系数即为标准偏回归系数。多元线性回归分析l论课件

8、 上例资料，已知上例资料，已知X2、X3与与 X4 对血糖有影响，但对血糖有影响，但其对血糖的相对作用大小如何？其对血糖的相对作用大小如何？比较三个标准偏回归系数比较三个标准偏回归系数0.3540.360 0.4131 1.02 1.17（倍）（倍）糖化血红蛋白对血糖的影响强度约为甘油三脂的糖化血红蛋白对血糖的影响强度约为甘油三脂的1.17倍。倍。多元线性回归分析l论课件四四.自变量的筛选自变量的筛选（1）向前筛选法向前筛选法（Forward selection）（2）向后剔除法向后剔除法（Backward elimination）（3）逐步法逐步法（Stepwise）多元线性回归分析l论课件

9、（1）向前筛选法（向前筛选法（Forward selection）事先给定一个事先给定一个入选标准入选标准（通常（通常 =0.05），然后根，然后根据各因素偏回归平方和从大到小，依次逐个引入回归据各因素偏回归平方和从大到小，依次逐个引入回归方程至无显著性自变量可以入选为止，因素一旦入选方程至无显著性自变量可以入选为止，因素一旦入选便始终保留在方程中而不被剔除。便始终保留在方程中而不被剔除。优缺点优缺点：可自动去除高度相关的自变量，但后续变量：可自动去除高度相关的自变量，但后续变量引入会使得方程中已存在的变量重要性发生改变。引入会使得方程中已存在的变量重要性发生改变。多元线性回归分析l论课件因变

10、量与各自变量相关系数大小因变量与各自变量相关系数大小多元线性回归分析l论课件向前筛选法，向前筛选法，=0.05多元线性回归分析l论课件向前筛选法，向前筛选法，=0.10为什么总胆固醇会从有意义因素变为无意义？为什么总胆固醇会从有意义因素变为无意义？多元线性回归分析l论课件 首先建立全部自变量的全回归方程，给定首先建立全部自变量的全回归方程，给定剔除标准剔除标准（通常通常 =0.10），根据各因素偏回），根据各因素偏回归平方从小到大，依次逐个将无显著性的自变归平方从小到大，依次逐个将无显著性的自变量从回归方程中剔除。量从回归方程中剔除。（2）向后剔除法（向后剔除法（Backward elimin

11、ation）优缺点优缺点：方程不会保留无意义自变量，但可能存在共：方程不会保留无意义自变量，但可能存在共线性问题。线性问题。多元线性回归分析l论课件向后筛选法，向后筛选法，=0.10多元线性回归分析l论课件（3）逐步法（逐步法（Stepwise）给出给出入选标准入选标准（通常（通常 1=0.05）和）和 剔除标准剔除标准（通常通常 2=0.10），每次选入一个在方程外且最具统计），每次选入一个在方程外且最具统计学意义的自变量后，就对原在方程中的自变量做剔除学意义的自变量后，就对原在方程中的自变量做剔除检验，这个过程逐步进行，直到没有统计意义的自变检验，这个过程逐步进行，直到没有统计意义的自变量

12、可以入选，也没有无统计学意义的自变量保留在方量可以入选，也没有无统计学意义的自变量保留在方程中为止。程中为止。实际工作中，多采用逐步法。实际工作中，多采用逐步法。多元线性回归分析l论课件逐步法逐步法入选标准入选标准 1=0.05和和 剔除标准剔除标准 2=0.10多元线性回归分析l论课件逐步法逐步法入选标准入选标准 1=0.10和和 剔除标准剔除标准 2=0.15多元线性回归分析l论课件多元线性回归分析l论课件五、回归方程的总体评价五、回归方程的总体评价以以确定系数（确定系数（R2）越大越优，但由于越大越优，但由于R2是随自变是随自变量的增加而增大，因此，在相近的情况下，以包含的量的增加而增大

13、，因此，在相近的情况下，以包含的自变量少者为优，也可用自变量少者为优，也可用校正确定系数（校正确定系数（R2a）作为作为评价标准。评价标准。R2a不会随无意义的自变量增加而增大。不会随无意义的自变量增加而增大。校正确定系数的计算：校正确定系数的计算：P 为方程中包含的自变量个数。为方程中包含的自变量个数。多元线性回归分析l论课件多元线性回归分析l论课件六、多元线性回归的应用六、多元线性回归的应用q影响因素（多因素）分析影响因素（多因素）分析（1）多因素的筛选；）多因素的筛选；1）哪些是主要因素？2）各因素的作用大小？（2）混杂因素的控制。）混杂因素的控制。例分析某预防措施对社区人群肠道传染病的

14、防制效果例分析某预防措施对社区人群肠道传染病的防制效果q估计和预测估计和预测 由于考虑到多个因素，可以显著提高估计和预测由于考虑到多个因素，可以显著提高估计和预测的精度。的精度。q统计控制统计控制多元线性回归分析l论课件 七七.应用多元线性回归分析时需注意的事项应用多元线性回归分析时需注意的事项（1）资料要求：资料要求：因变量因变量Y为连续变量，服从正态分布。为连续变量，服从正态分布。自变量自变量X可为连续或分类变量。可为连续或分类变量。Y与与X1、X2、Xm之间具有线性关系。之间具有线性关系。残差残差e服从（服从（0，）正态分布。）正态分布。指观察值与估计值之差。指观察值与估计值之差。多元线

15、性回归分析l论课件 七七.应用多元线性回归分析时需注意的事项应用多元线性回归分析时需注意的事项（2）做预报时，只能在自变量做预报时，只能在自变量X的观察值范围内进行的观察值范围内进行；例如：建立儿童期体表面积（例如：建立儿童期体表面积（Y）与身高（）与身高（X1）、）、体重（体重（X2）的线性回归方程，但不能利用该方程）的线性回归方程，但不能利用该方程来推算某一身高、体重的成人的体表面积。来推算某一身高、体重的成人的体表面积。（3）注意资料的特异点；注意资料的特异点；多元线性回归分析l论课件 （5）观测值重新量化问题观测值重新量化问题。（4）样本含量样本含量 一般应使样本含量是自变量数的一般应

16、使样本含量是自变量数的510倍。倍。多元线性回归分析l论课件（6）自变量筛选过程中引入和剔除变量时检验的水自变量筛选过程中引入和剔除变量时检验的水准确定准确定1）引入变量检验的水准）引入变量检验的水准小于小于剔除变量时检验的水准剔除变量时检验的水准2）通常引入变量检验的水准为）通常引入变量检验的水准为0.05，剔除变量时，剔除变量时0.10，但不绝对。，但不绝对。多元线性回归分析l论课件（7）自变量的联合作用分析自变量的联合作用分析 若要考虑若要考虑X1、X2对应变量对应变量 y 的联合作用，可设置一的联合作用，可设置一个新变量个新变量X3=X1X2 上例中，如考虑胰岛素（上例中，如考虑胰岛素

17、（X3）与糖化血红蛋白（）与糖化血红蛋白（X4）存在交互作用，则设置新变量）存在交互作用，则设置新变量X5=X3X4 经检验后，有意义，得：经检验后，有意义，得：多元线性回归分析l论课件多元线性回归分析l论课件多元线性回归分析l论课件（8）自变量的共线性自变量的共线性 当自变量之间存在较强的相关关系时，称之为共当自变量之间存在较强的相关关系时，称之为共线性，对一组存在共线性的自变量进行多元回归分析线性，对一组存在共线性的自变量进行多元回归分析时，偏回归系数的估计值容易失真。时，偏回归系数的估计值容易失真。（9）结果分析结果分析1）因变量的变异可由自变量解释的比例（）因变量的变异可由自变量解释的

18、比例（R2）即即R2=SS回回/SS总总 2）正确分析入选方程的自变量与因变量之间的关系）正确分析入选方程的自变量与因变量之间的关系3）正确分析未入选方程的自变量与因变量之间的关系）正确分析未入选方程的自变量与因变量之间的关系多元线性回归分析l论课件（10）残差分析）残差分析 指观察值与估计值之差。指观察值与估计值之差。在正常情况下在正常情况下ei服从均值为服从均值为0的正态分布。的正态分布。对上例资料建立的回归方程作残差图分析对上例资料建立的回归方程作残差图分析多元线性回归分析l论课件多元线性回归分析l论课件多元线性回归分析l论课件第二节第二节 多元线性相关多元线性相关资料要求资料要求：Y与

19、与p个自变量个自变量X都服从正态分布。都服从正态分布。1.复相关系数（多元相关系数）复相关系数（多元相关系数）R如果如果 F F(p,n-p-1),则在则在 水平上拒绝水平上拒绝H0 表示表示p个自变量共同对应变量的个自变量共同对应变量的相关密切程度相关密切程度。R 波动范围在波动范围在 01 之间，它与之间，它与r 值不同，没有负值。值不同，没有负值。R值越接近值越接近 1，相关越密切。，相关越密切。R值随引入回归方程内的值随引入回归方程内的自变量个数增加而增大。自变量个数增加而增大。多元线性回归分析l论课件确定系数确定系数(R2)即即R2=SS回回/SS总总 ,回归变异占总变异的回归变异占

20、总变异的比值比值.它表明由于引入有显著性相关的自变量，它表明由于引入有显著性相关的自变量，使总平方和减少的部分。使总平方和减少的部分。多元线性回归分析l论课件2.校正复相关系数（校正复相关系数（Ra）和校正确定系数）和校正确定系数（R2a）复相关系数随方程中变量数的增加而增大，即复相关系数随方程中变量数的增加而增大，即使无显著性的变量进入方程，其值亦增加。校正复使无显著性的变量进入方程，其值亦增加。校正复相关系数和校正确定系数就是针对这一现象提出的相关系数和校正确定系数就是针对这一现象提出的一种校正，当方程中增加无显著性变量时，校正复一种校正，当方程中增加无显著性变量时，校正复相关系数和校正确定系数就会减少。相关系数和校正确定系数就会减少。多元线性回归分析l论课件多元线性回归分析l论课件3.偏相关系数偏相关系数（rjy）它表示在其它自变量固定的条件下，某自变量与应变它表示在其它自变量固定的条件下，某自变量与应变量之间的量之间的相关密切程度和方向相关密切程度和方向。其值也波动在其值也波动在-11 之间。之间。上例资料偏相关系数的计算：上例资料偏相关系数的计算：多元线性回归分析l论课件THE END多元线性回归分析l论课件