SAS软件应用之直线回归与相关课件

《SAS软件应用之直线回归与相关课件》由会员分享，可在线阅读，更多相关《SAS软件应用之直线回归与相关课件（68页珍藏版）》请在装配图网上搜索。

1、第第9章章 直线回归与相关直线回归与相关学习目标v掌握直线相关的定义，熟悉简单相关系数的计算；v掌握直线相关分析的SAS程序（CORR过程以及选项）；v掌握直线回归的模型假设以及计算方法；v了解直线回归应用的注意事项；v掌握直线回归分析的SAS程序（REG过程以及选项）。概述v在医学上，许多现象之间都存在着相互联系，例如身高与体重、体温与脉搏、年龄与血压、钉螺与血吸虫感染等。而有些事物的关系是互为因果的，如上述钉螺是因，感染血吸虫是果；但有时因果不清，只是伴随关系。例如父母的兄弟，兄高，弟也可能高，但不能说兄是因、弟是果，这里不是因果关系，而可能与社会条件、家庭经济、营养、遗传等因素有关。概述

2、v相关是解决客观事物或现象相互关系密切程度的问题，而回归则是用函数的形式表示出因果关系。有相关不一定因果关系；反之，有因果关系的，一定有相关。我们称“因”的变量叫因变量，习惯上用Y表示。以横轴代表自变量X，纵轴代表依变量Y，可以将一群观察事物的两种关系在坐标图上以P（X，Y）的方法定位，作出一群散点图，便可在图上看出两者的关系。v相关分析和回归分析是研究现象之间相关关系的两种基本方法。所谓相关分析，就是用一个指标来表明现象间相互依存关系的密切程度。直线相关分析介绍v设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为

3、y=f（x），其中x称为自变量，y称为因变量。各观测点落在一条线上。v自变量取值一定时，因变量的取值带有一定随机性的两个变量之间的关系叫做相关关系。当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但它仍按某种规律在一定的范围内变化，变量间的这种相互关系，称为具有不确定性的相关关系。直线相关分析介绍v与函数关系不同，相关变量间关系不能用函数关系精确表达，一个变量的取值不能由另一个变量唯一确定，当变量x取某个值时，变量y的取值可能有无数个，各观测点分布在直线周围。v按相关程度划分可分为完全相关、不完全相关、和不相关：不相关v如果变量间彼此的数量变化互相独立，则其关系为不

4、相关，即没有任何相关关系。自变量x变动时，因变量y的数值不随之相应变动。完全相关v如果一个变量的变化是由其他变量的数量变化所唯一确定，此时变量间的关系称为完全相关。即因变量y的数值完全随自变量x的变动而变动，它在相关图上表现为所有的观察点都落在同一条直线上，这种情况下，相关关系实际上是函数关系。所以，函数关系是相关关系的一种特殊情况。不完全相关v如果变量间的关系介于不相关和完全相关之间，则称为不完全相关。大多数相关关系属于不完全相关，是统计研究的主要对象。正相关和负相关v正相关：两个变量之间的变化方向一致，都是呈增长或下降的趋势。即自变量x的值增加（或减少），因变量y的值也相应地增加（或减少）

5、，这样的关系就是正相关。v负相关：两个变量之间变化方向相反，即自变量的数值增大（或减小），因变量随之减小（或增大）。线形相关和非线形相关v直线相关（或线性相关）：当相关关系的自变量x发生变动，因变量y值随之发生大致均等的变动，从图像上近似地表现为直线形式，这种相关通称为直线相关。v曲线（或非线性）相关。在两个相关现象中，自变量x值发生变动，因变量y也随之发生变动，这种变动不是均等的，在图像上的分布是各种不同的曲线形式，这种相关关系称为曲线（或非线性）相关。曲线相关在相关图上的分布，表现为抛物线、双曲线、指数曲线等非直线形式。单相关、复相关和偏相关v单相关：两个因素之间的相关关系叫单相关，即研究

6、时只涉及一个自变量和一个因变量。v复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的自变量和因变量。v在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关。相关系数v所谓相关分析，就是分析测定变量间相互依存关系的密切程度的统计方法。一般可以借助相关系数来进行相关分析。v相关系数是表示两个变量（X，Y）之间线性关系密切程度的指标，用r表示，其值在-1至+1间。如两者呈正相关，r呈正值，r=1时为完全正相关；如两者呈负相关则r呈负值，而r=-1时为完全负相关。完全正相关或负相关时，所有图点都在直线回归线上；点子的分布在直线回归线上下越离

7、散，r的绝对值越小。当例数相等时，相关系数的绝对值越接近1，相关越密切；越接近于0，相关越不密切。当r=0时，说明X和Y两个变量之间无直线关系。相关系数v简单相关系数反映两个变量之间线性相关密切程度和相关方向的统计测定,它是其他相关系数形成的基础。简单相关系数的计算公式为：直线相关分析的SAS程序vSAS系统中进行直线相关分析的过程步是CORR过程。vCORR过程存在于SAS的base模块，可以计算Pearson积矩相关系数、Spearman秩相关系数、Kendallstau-b统计量、Hoeffdings独立性分析统计量D以及Pearson，Spearman，以及Kendall偏相关系数。另

8、外，它还对用于估计可靠性的Cronbach系数进行计算。Corr过程的语句基本格式如下：vPROCCORR;BY变量名-1.变量名-n;FREQ变量名;PARTIAL变量名（列表）;VAR变量名（列表）;WEIGHT变量名;WITH变量名（列表）;直线相关分析的SAS程序vCORR过程的几条语句中，BY语句、FREQ语句以及WEIGHT语句与以前所介绍的过程中的完全相同，大家可以参考以前的内容。下面简要介绍其余的几条语句。vPARTIAL语句:用以对所指定的变量计算偏相关系数或类似的偏统计量，可计算的偏统计量与PROCCORR语句中指定的选项有关。但其中只有Pearson积矩相关系数、Spea

9、rman秩相关系数及KendallsTau-b可计算相应的偏统计量。直线相关分析的SAS程序vVAR语句:VAR语句和其它过程中的也基本相同，这里VAR语句指定的变量必须为数值型变量，至少应指定两个变量（当然只指定一个变量也可以计算，但是你必须确定你确实需要证明“一个变量和它自身的相关系数为1”），可同时指定多个变量，此时SAS会对任意两个变量之间进行相关分析。直线相关分析的SAS程序vWITH语句:WITH语句用来指定和VAR语句指定的变量进行相关分析的变量。当有WITH语句存在时，VAR语句中指定的变量之间不再进行相关性分析，而其中的每个变量都和WITH语句指定的所有变量进行相关性分析，相

10、关分析也不会发生在WITH语句所指定的变量之间。输出结果的相关矩阵中，VAR语句指定的变量排列在行上，WITH语句指定的变量则排列在列上。如果需要，一个变量可以同时出现在VAR语句和WITH语句内。vPearson相关用于双变量正态分布的资料，其相关系数称为积矩相关系数。进行相关分析时，我们一般会同时对两变量绘制散点图，以更直观地考察两变量之间的相互变化关系。直线回归分析v医学上，不少变量间虽存在一定关系，但这种关系不象函数关系那样十分确定。例如正常人的血压随年龄而增高，但这只是总的趋势，有些高龄人的血压却不一定偏高；一群正常人按年龄和血压两个变量在坐标上的方位点，并非集中在一条上升直线上，而

11、是围绕着一条有代表性的直线上升。v直线回归分析的任务在于找出两个变量有依存关系的直线方程，以确定一条最接近于各实测点的直线，使各实测点与该线的纵向距离的平方和为最小。这个方程称为直线回归方程，据此方程描绘的直线就是回归直线。直线回归分析v直线回归是用直线回归方程表示两个数量变量间依存关系的统计分析方法，属双变量分析的范畴。如果某一个变量随着另一个变量的变化而变化，并且它们的变化在直角坐标系中呈直线趋势，就可以用一个直线方程来定量地描述它们之间的数量依存关系，这就是直线回归分析。v直线回归分析中两个变量的地位不同，其中一个变量是依赖另一个变量而变化的，因此分别称为因变量和自变量，习惯上分别用y和

12、x来表示。其中x可以是规律变化的或人为选定的一些数值（非随机变量），也可以是随机变量。v所谓回归分析，就是依据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。直线回归分析v相关关系能说明现象间有无关系，但它不能说明一个现象发生一定量的变化时，另一个变量将会发生多大量的变化。也就是说，它不能说明两个变量之间的一般数量关系值。回归分析，是指在相关分析的基础上，把变量之间的具体变动关系模型化，求出关系方程式，就是找出一个能够反映变量间变化关系的函数关系式，并据此进行估计和推算。通过回归分析，可以将相关变量之间不确定、不规则的数量关系一般化、规范化。从而可以根据自变量的某

13、一个给定值推断出因变量的可能值（或估计值）。v回归分析包括多种类型，根据所涉及变量的多少不同，可分为简单回归和多元回归。简单回归又称一元回归，是指两个变量之间的回归。其中一个变量是自变量，另一个变量是因变量。直线回归分析v相关分析和回归分析有着密切的联系，它们不仅具有共同的研究对象，而且在具体应用时，常常必须相互补充。相关分析研究变量之间相关的方向和相关程度。但是相关分析不能指出变量间相互关系的具体形式，也无法从一个变量的变化来推测另一个变量的变化情况。回归分析则是研究变量之间相互关系的具体形式，它对具有相关关系的变量之间的数量联系进行测定，确定一个相关的数学方程，根据这个数学方程可以从已知量

14、推测未知量，从而为估算和预测提供了一个重要的方法。应用直线回归的注意事项v作回归分析要有实际意义，不能把毫无关联的两种现象，随意进行回归分析，忽视事物现象间的内在联系和规律；如对儿童身高与小树的生长数据进行回归分析既无道理也无用途。另外，即使两个变量间存在回归关系时，也不一定是因果关系，必须结合专业知识作出合理解释和结论。v直线回归分析的资料，一般要求应变量Y是来自正态总体的随机变量，自变量X可以是正态随机变量，也可以是精确测量和严密控制的值。若稍偏离要求时，一般对回归方程中参数的估计影响不大，但可能影响到标准差的估计，也会影响假设检验时P值的真实性。应用直线回归的注意事项v进行回归分析时，应

15、先绘制散点图。若提示有直线趋势存在时，可作直线回归分析；若提示无明显线性趋势，则应根据散点分布类型，选择合适的曲线模型，经数据变换后，化为线性回归来解决。一般说，不满足线性条件的情形下去计算回归方程会毫无意义，最好采用非线性回归方程的方法进行分析。v绘制散点图后，若出现一些特大特小的离群值（异常点），则应及时复核检查，对由于测定、记录或计算机录入的错误数据，应予以修正和剔除。否则，异常点的存在会对回归方程中的系数a、b的估计产生较大影响。应用直线回归的注意事项v回归直线不要外延。直线回归的适用范围一般以自变量取值范围为限，在此范围内求出的估计值称为内插；超过自变量取值范围所计算的称为外延。若无

16、充足理由证明，超出自变量取值范围后直线回归关系仍成立时，应该避免随意外延。直线回归分析的SAS程序vREG过程涉及到较多的语句和选项，PROCREG;MODEL应变量列表=;BY变量名列表;VAR变量名列表;WEIGHT变量名;ADD变量名列表;DELETE变量名列表;MTEST方程式;OUTPUTkeyword=变量名列表;PLOT;直线回归分析的SAS程序vMODEL语句：用以指定所要拟合的回归模型。其最前面的标签为可选项，可以是不超过8个字符的字符串，用来对定义的模型进行标识，以便于在结果中分辨不同的模型，一般情况下系统会以默认的方式对模型进行标识，你可以省略此项。关键字model后所列

17、的是模型表达式，和方差分析中anova过程的model语句相似。模型表达式中等号的左边为反应变量，等号的右边为自变量列表，自变量间以空格相分隔。这里所用到的所有变量必须存在于所分析的数据集中，而且是数值型的。如果要用到几个变量产生的综合变量，必须在数据步完成新变量的创建过程，model语句中的组合型变量将被视为非法。直线回归分析的SAS程序vid语句：指定用以标识观测的变量。如果某一条model语句指定了cli,clm,p,r,或者influence选项，结果中会有针对每一条观测的输出，此时用id语句指定每一条观测的标识将会使结果更易于辨认或理解。如果没有id语句，SAS则用观测的编号来标识每

18、一条观测。vvar语句：用来将那些未包括在model语句中但需要将其包含在交叉积和矩阵中的数值型变量。在随后的add语句中想交互地加入模型的变量以及要在plot语句中对其绘制散点图的变量也需在var语句中列出。另外，如果你只想利用procreg语句后的选项执行某些特定的功能，而并不会用到model语句的话，var语句则是必需的。直线回归分析的SAS程序vadd语句：用以将自变量交互地加入模型，以考察某个变量对模型拟合的影响。此处用到的变量必须为model语句或var语句中出现的变量，你可以交互地加入某个变量到模型中或将在delete语句中剔除的变量重新包含到模型中。对add语句的每一次执行都将

19、改变模型的标签。vmtest语句：用以在有多个应变量时进行模型的多重检验。其最前面的标签项和model语句的完全相同。语句中的方程式用以指定多重检验的假设模型，是一组以系数和变量名组成的线性方程式。此语句用在多元回归情况下，多个应变量对同一组自变量拟合线性模型时。直线回归分析的SAS程序voutput语句：用于将回归分析中产生的结果输出到指定的数据集中，它所对应的是最后一个model语句所定义的模型。新产生的数据集中，包括输入数据集（用以进行回归分析的数据集）的全部数据、回归分析过程中产生的各种统计量以及针对每一观测的回归诊断指标数据等。但如果输入数据类型为corr、cov或sscp等，out

20、put语句则会失效。vplot语句：用以对两个变量绘制散点图，表达式中位置在前（在乘号“*”之前）的变量作为散点图的y轴，位置在后的变量作为散点图的x轴。等号后的符号为散点图中表示点的图形符号，此项内容可省略，SAS会用默认方式显示图形，但如需指定，符号要用单引号括起来。本章小节本章小节v相关分析和回归分析是研究现象之间相关关系的两种基本方法。相关是解决客观事物或现象相互关系密切程度的问题，而回归则是用函数的形式表示出因果关系。有相关不一定因果关系；反之，有因果关系的，一定有相关。v所谓相关分析，就是用一个指标来表明现象间相互依存关系的密切程度。按相关程度划分可分为完全相关、不完全相关、和不相

21、关；按相关方向划分可分为正相关和负相关；按相关的形式划分可分为线形相关和非线形相关；按变量多少划分可分为单相关、复相关和偏相关。所谓相关分析，就是分析测定变量间相互依存关系的密切程度的统计方法。一般可以借助相关系数、相关表与相关图来进行相关分析。本章小节本章小节vSAS系统中进行直线相关分析的过程步是CORR过程。CORR过程存在于SAS的base模块，可以计算Pearson积矩相关系数、Spearman秩相关系数、Kendallstau-b统计量、Hoeffdings独立性分析统计量D以及Pearson，Spearman，以及Kendall偏相关系数。vREG是用于一般目的回归分析的过程。本

22、章详细对REG过程语句和基本格式进行了说明，并以实例演示如何利用SAS程序进行相关分析。本章小节本章小节v直线回归分析的任务在于找出两个变量有依存关系的直线方程，以确定一条最接近于各实测点的直线，使各实测点与该线的纵向距离的平方和为最小。这个方程称为直线回归方程，据此方程描绘的直线就是回归直线。相关关系能说明现象间有无关系，但它不能说明一个现象发生一定量的变化时，另一个变量将会发生多大量的变化。也就是说，它不能说明两个变量之间的一般数量关系值。回归分析，是指在相关分析的基础上，把变量之间的具体变动关系模型化，求出关系方程式，就是找出一个能够反映变量间变化关系的函数关系式，并据此进行估计和推算。

23、第第10章章 多元线性回归与相关多元线性回归与相关学习目标v熟悉多元线性回归模型矩阵形式；v掌握多元线性回归模型、参数估计过程及参数的解释，标准化参数估计值；v了解多元线性回归共线性的诊断问题；v理解复相关系数与偏相关系数；v掌握多元线性回归的SAS程序（REG过程以及选项）。v熟悉计算偏相关系数的SAS程序。多元线性回归与相关的基础理论多元线性回归与相关的基础理论v在许多实际问题中，还会遇到一个随机变量与多个变量的相关关系问题，需要用多元回归分析的方法来解决。前面介绍的一元回归分析是其特殊情形。但由于多元回归分析比较复杂，在此仅简要介绍多元线性回归分析。v由于经济现象的复杂性，一个被解释变量

24、往往受多个解释变量的影响。多元回归模型就是在方程式中有两个或两个以上自变量的线性回归模型。多元线性回归预测是用多元线性回归模型，对具有线性趋势的税收问题，使用多个影响因素所作的预测。多元线性回归v多元线性回归分析也称为复线性回归分析，它是一元线性回归分析或简单线性回归分析的推广，它研究的是一组自变量如何直接影响一个因变量。这里的自变量指的是能独立自由变化的变量，一般用x表示；因变量y指的是非独立的、受其它变量影响的变量，一般用y表示。由于多元线性回归分析（包括一元线性回归分析）仅涉及到一个因变量，所以有时也称为单变量线性回归分析。回归变量的选择与逐步回归v在实际问题中,人们总是希望从对因变量有

25、影响的诸多变量中选择一些变量作为自变量,应用多元回归分析的方法建立“最优”回归方程以便对因变量进行预报或控制，这就涉及到自变量选择的问题。所谓“最优”回归方程,主要是指希望在回归方程中包含所有对因变量影响显著的自变量而不包含对影响不显著的自变量的回归方程。v在回归方程中若漏掉对Y影响显著的自变量，那么建立的回归式用于预测时将会产生较大的偏差。但回归方程若包含的变量太多，且其中有些对Y影响不大，显然这样的回归式不仅使用不方便，而且反而会影响预测的精度。因而选择合适的变量用于建立一个“最优”的回归方程是十分重要的问题。回归变量的选择与逐步回归v选择“最优”回归方程的变量筛选法包括逐步回归法，向前引

26、入法和向后剔除法。v向前引入法是从回归方程仅包括常数项开始，把自变量逐个引入回归方程。具体地说，先在m个自变量中选择一个与因变量线性关系最密切的变量，记为，然后在剩余的m-1个自变量中，再选一个，使得联合起来二元回归效果最好，第三步在剩下的m-2个自变量中选择一个变量，使得联合起来回归效果最好，.如此下去，直至得到“最优”回归方程为止。回归变量的选择与逐步回归v向前引入法中的终止条件为，给定显著性水平，当某一个对将被引入变量的回归系数作显著性检查时，若p-value，则引入变量的过程结束，所得方程即为“最优”回归方程。v向前引入法有一个明显的缺点，就是由于各自变量可能存在着相互关系，因此后续变

27、量的选入可能会使前面已选入的自变量变得不重要。这样最后得到的“最优”回归方程可包含一些对Y影响不大的自变量。回归变量的选择与逐步回归v向后剔除法与向前引入法正好相反，首先将全部m个自变量引入回归方程，然后逐个剔除对因变量Y作用不显著的自变量。具体地说，从回归式m个自变量中选择一个对Y贡献最小的自变量，比如，将它从回归方程中剔除；然后重新计算Y与剩下的m-1个自变量回归方程，再剔除一个贡献最小的自变量，比如，依次下去，直到得到“最优”回归方程为止。向后剔除法中终止条件与向前引入法类似。v向后剔除法的缺点在于，前面剔除的变量有可能因以后变量的剔除，变为相对重要的变量，这样最后得到的“最优”回归方程

28、中有可能漏掉相对重要的变量。回归变量的选择与逐步回归v逐步回归法是上述两个方法的综合。向前引入中被选入的变量，将一直保留在方程中。向后剔除法中被剔除的变量，将一直排除在外。这两种方程在某些情况下会得到不合理的结果。于是，可以考虑到，被选入的的变量，当它的作用在新变量引入后变得微不足道时，可以将它删除；被剔除的变量，当它的作用在新变量引入情况下变得重要时，也可将它重新选入回归方程。这样一种以向前引入法为主，变量可进可出的筛选变量方法，称为逐步回归法。回归变量的选择与逐步回归v它的主要思路是在考虑的全部自变量中按其对的作用大小，显著程度大小或者说贡献大小，由大到小地逐个引入回归方程，而对那些对作用

29、不显著的变量可能始终不被引人回归方程。另外，己被引人回归方程的变量在引入新变量后也可能失去重要性，而需要从回归方程中剔除出去。引人一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步，每一步都要进行检验，以保证在引人新变量前回归方程中只含有对影响显著的变量，而不显著的变量已被剔除。v首先给出引入变量的显著性水平和剔除变量的显著性水平，然后筛选变量。回归变量的选择与逐步回归回归变量的选择与逐步回归v逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预先给定的水平下进行显著性检验，如果显著则该变量不必从回归方程中剔除，这时

30、方程中其它的几个变量也都不需要剔除（因为其它的几个变量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显著，则该变量要剔除，然后按偏回归平方和由小到大地依次对方程中其它变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的。接着再对未引人回归方程中的变量分别计算其偏回归平方和，并选其中偏回归平方和最大的一个变量，同样在给定水平下作显著性检验，如果显著则将该变量引入回归方程，这一过程一直继续下去，直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止，这时逐步回归过程结束。多重共线性v回归分析是一种比较成熟的预测模型,也是在预测过程中使用较多的模型,在自然科学管理科学和社会经

31、济中有着非常广泛的应用，但是经典的最小二乘估计，必需满足一些假设条件，多重共线性就是其中的一种。实际上，解释变量间完全不相关的情形是非常少见的，大多数变量都在某种程度上存在着一定的共线性，而存在着共线性会给模型带来许多不确定性的结果。多重共线性v设回归模型如果矩阵X的列向量存在一组不全为零的数，vI=1,2,n，则称其存在完全共线性,如果，vI=1,2,n，则称其存在近似的多重共线性。多重共线性v当存在严重的多重共线性时，会给回归系数的统计检验造成一定的困难，可能造成F检验获得通过，T检验却不能够通过。在自变量高度相关的情况下，估计系数的含义有可能与常识相反。在进行预测时，因为回归模型的建立是

32、基于样本数据的，多重共线性也是指抽样的数据。如果把建立的回归模型用于预测，而多重共线性问题在预测区间仍然存在，则共线性问题对预测结果不会产生特别严重的影响，但是如果样本数据中的多重共线性发生了变化则预测的结果就不能完全的确定了。多重共线性检验v检查和解决自变量之间的多重共线性，多多元线性回归分析来说是很必要和重要的一个步骤，常用的共线性诊断方法包括：v直观的判断方法v方差扩大因子法(VIF)v特征根判定法直观的判断方法v在自变量的相关系数矩阵中，有某些自变量的相关系数值比较大。v回归系数的符号与专业知识或一般经验相反v对重要的自变量的回归系数进行t检验，其结果不显著，但是F检验确得到了显著的通

33、过v如果增加一个变量或删除一个变量，回归系数的估计值发生了很大的变化v重要变量的回归系数置信区间明显过大方差扩大因子法(VIF)v一般认为如果最大的超过10，常常表示存在多重共线性。事实上10这说明0.9。特征根判定法v根据矩阵行列式性质，矩阵行列式的值等于其特征根的连乘积。因此，当行列式|0时，至少有一个特征根为零，反过来，可以证明矩阵至少有一个特征根近似为零时，X的列向量必存在多重共线性，同样也可证明有多少个特征根近似为零矩阵X就有多少个多重共线性。根据条件数,其中为最大的特征根.为其他的特征根，通常认为0k10存在着多重共线性。多重共线性的处理方法v增加样本容量，当线性重合是由于测量误差

34、引起的以及他仅是偶然存在于原始样本，而不存在于总体时，通过增加样本容量可以减少或是避免线性重合，但是在现实的生活中，由于受到各种条件的限制增加样本容量有时又是不现实的v剔除一些不重要的解释变量，主要有向前法和后退法，逐步回归法。多重共线性的处理方法v前进法的主要思想是变量由少到多的，每次增加一个，直至没有可引入的变量为止。具体做法是首先对一个因变量y和m个自变量分别建立回归方程，并分别计算这m个回归方程的F值，选其最大者，记为Fj,，给定显著性水平F，如果FjF,则变量引入该方程，再分别对(Xj,X1),(Xj,X2)(Xj,Xm)做回归方程，并对他们进行F检验，选择最大的Fi值，如果Fi.F

35、,则该变量引入方程，重复上述步骤，直到没有变量引入为止。v后退法，是先用m个因变量建立回归方程，然后在这m个变量中选择一个最不显著的变量将它从方程中剔除，对m个回归系数进行F检验，记所求得的最小的一个记为Fj,给定一个显著性的水平，如果FjF则将Xj从方程中删除，重复上述步骤直到所有不显著的变量被剔除为止。多重共线性的处理方法v逐步回归法，前进法存在着这样的缺点当一个变量被引入方程时，这个变量就被保留在这个方程中了，当引入的变量导致其不显著时，它也不会被删除掉，后退法同样存在着这样的缺点，当一个变量被剔除时就永远的被排斥在方程以外了，而逐步回归法克除了两者的缺点。逐步回归的思想是有进有出。将变

36、量一个一个的引入，每引入一个变量对后面的变量进行逐个检验，当变量由于后面变量的引入而不变的不显著时将其剔除，进行每一步都要进行显著性的检验，以保证每一个变量都是显著的。多重共线性的处理方法v主成分法。当自变量间有较强的线性相关性时，利用P个变量的主成分，所具有的性质，如果他们是互不相关的，可由前m个主成来建立回归模型。v由原始变量的观测数据计算前m个主成分的的得分值，将其作为主成分的观测值，建立Y与主成分的回归模型即得回归方程。这时P元降为m元,这样既简化了回归方程的结构，且消除了变量间相关性带来的影响。复相关系数与偏相关系数v在学习一元线性回归分析时，讨论了与之紧密联系的一元相关分析或简单相

37、关分析。将这个概念扩展到多元，就是多元相关分析或复相关分析。简单相关分析研究两个变量之间的关联性，复相关研究多个变量之间的关联性。复相关系数v复相关系数是指在具有多元相关关系的变量中，用来测定因变量y与一组自变量之间相关程度的指标。v复相关系数的计算公式为：偏向关系数v偏相关系数度量了当其它变量固定不变时，或者说，消除了其它变量的影响之后，两个变量之间线性关联的强度。v设有三个变量，如果在三个变量中，剔除的影响，可计算对偏向关系数，记作，其计算公式为：v偏向关系数v如果在这三个变量中，剔除的影响，可计算、对偏向关系数，记作，其计算公式为：偏向关系数偏向关系数v如果在这三个变量中，剔除的影响，可

38、计算、对偏向关系数，记作，其计算公式为：多元相关分析与多元回归分析的区别v比较多元相关分析与多元回归分析，它们的相同点是都讨论了变量之间的关联性。区别是：多元回归分析给出了变量之间的依存关系，而多元相关分析却没有给出依存关系；多元回归分析要求将变量分为自变量和因变量，而多元相关分析不要求将变量分为自变量和因变量；分为自变量和因变量要求因变量服从正态分布，而多元相关分析要求所有变量服从正态分布。多元相关分析与多元回归分析的区别v同样，比较多元相关分析与多元回归分析，有三对概念需要加以区别：回归系数和相关系数；偏回归系数和偏相关系数；确定系数和复相关系数。本章小节v多元线性回归分析也称为复线性回归

39、分析，它是一元线性回归分析或简单线性回归分析的推广，它研究的是一组自变量如何直接影响一个因变量。这里的自变量指的是能独立自由变化的变量，一般用x表示；因变量y指的是非独立的、受其它变量影响的变量，一般用y表示。v多元线性回归分析的手段是借助于一个数学模型来揭示总体中若干个自变量与一个因变量之间的线性依存关系，并评估用这一数学模型模拟相关事物变化规律的准确性。具体地说，多元线性回归分析可以从统计意义上确定在消除了其它自变量的影响后，每一个自变量的变化是否引起因变量的变化，并且估计出在其它自变量固定不变的情况下，每个自变量对因变量的数值影响大小。本章小节v对于多元线性回归分析，要求观察数据和模型的

40、残差满足一定的条件，在本章中进行了详细的描述。v详细介绍了多元线性回归模型的参数估计，包括回归参数的最小二乘估计、拟合优度检验（包括总离差平方和分解、样本决定系数和调整后的样本决定系数）、模型显著性检验以及参数显著性检验。本章小节v选择“最优”回归方程的变量筛选法包括逐步回归法，向前引入法和向后剔除法。多元回归分析的目的是为了找出一个最优的模型，用来解释和预测自变量和因变量的依存关系。但是，要注意的是，所谓的最优模型，只是相比较而言。没有一个绝对的最优模型存在。v解释变量间完全不相关的情形是非常少见的，大多数变量都在某种程度上存在着一定的共线性，而存在着共线性会给模型带来许多不确定性的结果。介绍了常用的共线性诊断方法以及各种处理方法。v介绍了复相关系数和偏相关系数的定义以及与复确定系数和偏回归系数的联系和区别。