多元统计分析---回归分析课件

《多元统计分析---回归分析课件》由会员分享，可在线阅读，更多相关《多元统计分析---回归分析课件（52页珍藏版）》请在装配图网上搜索。

1、引例：消费支出与可支配收入的观测值一、一元线性回归模型一、一元线性回归模型 定义：假设有两个变量x 和y，x为自变量，y为因变量。则一元线性回归模型的基本结构形式为 式中：a和b为待定参数；为各组观测数据的下标；为随机变量。bxay（2.1）n,1,2,a 记 和 分别为参数a与b的拟合值，则一元线性回归模型为 （2.2）式代表x与y之间相关关系的拟合直线，称为回归直线；是y的估计值，亦称回归值。a bxbay（2.2）y 一般情况下的总体回归模型假定条件下的总体回归模型真实的总体回归直线与估计的样本回归直线样本回归直线是对总体回归直线的近似反映。回归分析的主要任务就是要采用适当的方法，充分利

2、用样本所提供的信息，使得样本回归函数尽可能地接近于真实的总体回归函数。所估计的样本回归直线都不可能与真实的总体回归直线完全一致。观测值的散点图及其拟合直线 min2ie 参数a与b的最小二乘拟合原则要求yi与 的误差ei的平方和达到最小，即 根据取极值的必要条件，有 niiininiiiibxayyyeQ121122min)()(niiiiniiixbxaybxay110)(0)(（2.4）iy（一）参数（一）参数a、b的最小二乘估计的最小二乘估计 （2.3）niiniiixxxyxxyyxxLLb121)()(xbya2112111)(1)(1niiniininiiniiiixnxyxnyx

3、（2.5）解上述正规方程组（2.4）式，得到参数a与b的拟合值一元线性回归模型检验的种类一元线性回归模型检验的种类（二）一元线性回归模型的显著性检验（二）一元线性回归模型的显著性检验u实际意义检验实际意义检验参数估计值的符号和取值范围参数估计值的符号和取值范围消费支出与可支配收入：如果估计出来的 b小于 0 或大于 1，xbay收入支出u统计检验统计检验检验样本回归方程的可靠性检验样本回归方程的可靠性拟合程度检验；拟合程度检验；相关系数检验；相关系数检验；参数显著性检验参数显著性检验(t检验检验)；回归方程显著性检验（回归方程显著性检验（F 检验）检验）u计量检验计量检验假定条件是否满足假定条

4、件是否满足序列相关检验序列相关检验异方差性检验异方差性检验1 拟合优度检验拟合优度检验所谓拟合程度，是指样本观测值聚集在样本回归直线周所谓拟合程度，是指样本观测值聚集在样本回归直线周围的紧密程度。判断回归模型拟合程度优劣最常用的数围的紧密程度。判断回归模型拟合程度优劣最常用的数量指标是量指标是判定系数判定系数（Coefficient of Determination）总的离差平方和：在回归分析中，表示y的n次观测值之间的差异，记为 可以证明（2.9）niiyyyyLS12)(总niiyyyyLS12)(总niniiiiUQyyyy1122)()(（2.8）Q 称为误差平方和，或剩余平方和U 回

5、归平方和 niiiyyQ12)(xyxxniiniiniiibLLbxxbxbabxayyU21221212)()()(显而易见，各个样本观测点与样本回归直线靠得越紧，U 在S中所占的比例就越大。因此，可定义这一比例为判定系数，即有：TSUR 2性质：1、具有非负性，分子分母均是不可能为负值2、判定系数的取值范围为3、判定系数是样本观测值的函数，它也是一个统计量。2 相关系数的显著性检验相关系数的显著性检验 X和和 Y之间真实的线性相关程度用总体相关系数之间真实的线性相关程度用总体相关系数来表示来表示由于总体未知，由于总体未知，无法计算，我们利用相本相关系数无法计算，我们利用相本相关系数（1）

6、计算样本相关系数）计算样本相关系数 r；（2）根据给定的显著性水平）根据给定的显著性水平和样本容量和样本容量 n，查相关系数表得，查相关系数表得到临界值到临界值 r。（3）若）若|r|大于临界值大于临界值，则，则 X与与 Y有显著的线性关系，否则有显著的线性关系，否则 X 与与Y 的线性相关关系不显著。的线性相关关系不显著。3 回归参数的显著性检验（回归参数的显著性检验（t检验检验）根据样本估计的结果对总体回归参数的有关假设进行检验根据样本估计的结果对总体回归参数的有关假设进行检验3、根据给定的显著水平确定临界值，或者计算 t 值所对应的 p 值。4、做出判断。方法：F 检验法。总的离差平方和

7、：在回归分析中，表示y的n次观测值之间的差异，记为 可以证明（2.9）niiyyyyLS12)(总niiyyyyLS12)(总niniiiiUQyyyy1122)()(（2.8）4 回归方程的显著性检验回归方程的显著性检验 统计量F F越大，模型的效果越佳。统计量FF（1，n-2）。在显著水平下，若FF，则认为回归方程效果在此水平下显著。一般地，当FF0.10(1,n-2)时，则认为方程效果不明显。2nQUF（2.10）二、多元线性回归模型1 1 多元线性回归模型的结构形式为多元线性回归模型的结构形式为 aakaaaxxxyk22110（2.11）式中：为待定参数；为随机变量。k,10a2 多

8、元线性回归模型的基本假定多元线性回归模型的基本假定 如果 分别为的拟和值，则回归方程为 b0为常数，b1,b2,bk称为偏回归系数。偏回归系数的意义是，当其他自变量都固定时，自变量 每变化一个单位而使因变量平均改变的数值。kkxbxbxbby22110（2.12）kbbb,10k,210ix3 回归方程的估计:偏回归系数的推导过程:根据最小二乘法原理，的估计值 应该使 由求极值的必要条件得 方程组（）式经展开整理后得 min)()(122211012nakakaaanaaaxbxbxbbyyyQ（.2.13）),2,1(0)(20)(2110kjxyybQyybQnajaaajnaaa),2,

9、1,0(kii）（k,1,2,0iib（.2.14）方程组（2.15）式称为正规方程组。引入矩阵nanaakanakkanakaakaanakananaaanakkaanaaaanaananaaanakkaanaaanaananaanakkanaaayxbxbxxbxxbxyxbxxbxbxxbxyxbxxbxxbxbxybxbxbxnb11122121101112122122121012111112121121011111212110)(.)()()()()()()()()()()()()()(（.2.15)knnnkkxxxxxxxxxxxxX2132313222121k211111.11

10、knnnkkkknkkknnTxxxxxxxxxxxxxxxxxxxxxxxxXXA213231322212121113212232221113121111111111nakanakaanakaanakanakaanaanaaanaanakaanaaananaanakanaanaaxxxxxxxxxxxxxxxxxxxxxn12121111212212112111211211111211nyyyY21nbbbbb210 则正规方程组（2.15）式可以进一步写成矩阵形式BAb naakanaaanaaanaanknkkknnTyyyxyxyyyyyxxxxxxxxxxxxYXB112111321

11、321223222111312111111求解得引入记号 YXXXBAbTT11)(najjiiajiijxxxxLL1)(naaiiaiyyyxxL1)(（2.16）),2,1,(kji),2,1(ki正规方程组也可以写成kkkykkkkkykkykkxbxbxbybLbLbLbLLbLbLbLLbLbLbL2211022112222212111212111)51.2.3(n回归模型的显著性检验回归模型的显著性检验 回归平方和U与剩余平方和Q：回归平方和 剩余平方和为 F统计量为 计算出来F之后，可以查F分布表对模型进行显著性检验。k21x,x,xQULSyy总nanaiyiLbyyU112

12、)(nayyaaULyyQ12)()1/(/knQkUFR=0.950，说明，说明 Y 与自变量与自变量 X1、X2 之间的相关程度为之间的相关程度为 95.0%。样本判定系数样本判定系数0.902 说明说明 Y的变动有的变动有 90.2%可以由自变量可以由自变量 X1 和和 X2 解释。解释。三、非线性回归模型 非线性关系线性化的几种情况非线性关系线性化的几种情况对于指数曲线 ，令 ,可以将其转化为直线形式：，其中，；对于对数曲线 ，令 ，可以将其转化为直线形式：；对于幂函数曲线 ，令 ，可以将其转化为直线形式：其中，；bxdyexbayxbaylnxbaybdxy xbayyylnxx d

13、alnyy xxlnyylnxxlndaln 对于双曲线 ，令 ，转化为直线形式：；对于S型曲线 ，可 转化为直线形式：；对于幂乘积 ，只要令 ，就可以将其转化为线性形式 其中，；xbay1xbayxxxyybaye,1,e1令xbaykkxxdxy2121kkxxxy22110 xxyy1,1kkxxxxxxyyln,ln,ln,ln2211dln0对于对数函数和 只要令 ，就可以将其化为线性形式 例例:表给出了某地区林地景观斑块面积（area）与周长（perimeter）的数据。下面我们建立林地景观斑块面积A与周长P之间的非线性回归模型。kkxxxylnlnln22110kkxxxy221

14、10kkxxxxxxyyln,ln,ln,2211表3.2.1 某地区各个林地景观斑块面积（m2）与周长（m）解解:（1）作变量替换，令：，将表中的原始数据进行对数变换，变换后得到的各新变量对应的观测数据如表所示。AylnPxln表3.2.2 经对数变换后的数据 （2）以x为横坐标、y为纵坐标，在平面直角坐标系中作出散点图。很明显，y与x呈线性关系。图3.2.2 林地景观斑块面积（A）与周长（P）之间的双对数关系 （3）根据所得表中的数据，运用建立线性回归模型的方法，建立y与x之间的线性回归模型，得到 对应于（）式，x与y的相关系数高 达 =0.966 5。（4）将（）还原成双对数曲线，即 7505.0505.1xy（）7505.0ln505.1lnPA（）xyr