计量经济学讲义 第二章 单变量回归

《计量经济学讲义 第二章 单变量回归》由会员分享，可在线阅读，更多相关《计量经济学讲义 第二章 单变量回归（29页珍藏版）》请在装配图网上搜索。

1、第三部 线性分析第二章 单变量回归第二章 单变变量回归所谓回归分析(regreessionn anallysis)，就是弄清清楚两个或两两个以上变量量之间的因果果关系的统计计手法，是计计量经济学中中经常应用的的方法。我们也可以认为为计量经济学学的目的就是是为了改进回回归分析。本章的对象：单单变量的回归归模型主要内容：古典典正规线性回回归模型的假假定； 最小小二乘回归模模型(Orddinaryy leasst-squuares regreessionn modeel, OLLS)的重要要结果；1. 古典正规线性回回归模型1-1 回归分分析(1) 现在在把两个变量量和之间的关系系，用一次函函数的形

2、式表表示。具体，这样的模型称为为单变量回归模模型。其中，是代表原因(cause)的变量，我们称之为说明变量(explanatory variable),或者称之为独立变量(independent variable); 是代表结果(result)的变量，我们称之为被说明变量(explained variable)，或从属变量(dependent variable); 是误差项(error term),或叫作搅乱项(disturbance term)，代表不能用的变化来反应出的的变化的那个部分。也就是现实的与理论的之间的差异。为什么需要加入入误差项呢？因为精确的数学学模型能解释释的现象很少少；现在

3、能解解释经济现象象的手法大家家更喜欢用随随机变量来表表示经济变量量的不确性； (2) 回归分析的目的的主要目的是估计计参数和以及以及对估估计值进行显显著性检验。 最常常用的方法是是最小2乘法法(Ordiinary Leastt Squaare meethod, OLS)1-2 5个个基本假定A. 古典正规规线性回归模模型有以下五五个假设：(1) 误差项项的平均为00,即；(2) 误差项之间不相相关，即，或或；(3) 误差项具有相同同的方差，其其中是未知；(4) 说明变量是可以以指定的，也也就是说不是是确率变量；(5) 误差项服从正规规分布。B. 下面我们们详细说明上上述的五个假假定。B-1假定

4、(11)误差项代表说明明变量以外其其他的对被说说明变量产生生影响因素的的总和。其中中的任何一个个构成因素都都不可能对被被说明变量产产生连续的影影响，而它们们总体有时候候对被说明变变量产生正的的影响，有时时候产生负的的影响，但是是就平均程度度而言是0。这种假定意味着着被说明变量量的平均是由由的大小决定定，而误差项项不会对被解解释变量产生生一种系统的的影响，也就就是与误差项项无关。把说明变量分成成两个部分：和。其中，是可可以人为指定定的，称为系系统部分；误误差项是个确确率变量，称称为非系统部部分；就是不不可预知部分分，它决定被被说明变量也也是个随机变变量。被说明变量和误误差项具同样样的分布。如果这

5、种假设不不成立，也就就是说，有一一个系统因素素，本应该出出现在系统部部分里，却人人为地把它放放在非系统部部分中，那样样会带来什么么样的后果呢呢？先看看原来的误误差项。如前前面所述的那那样，依旧假假设是一个平平均为0的随随机变量。现现在，犯了定定义上的错误误，把应该放放在系统说明明部分中的说说明变量，归归类到误差项项中，即，其中中是一个均值值为0的随机机变量。这时时，就不再是是一个均值为为0的随机变变量。被说明明变量的平均均也不再只由由的大小决定定，还要受到到中的大小的影影响。这种错误是在建建模阶段发生生的错误。不能简单地从检检验假说(11)的成立与与否来判断这这类错误的有有无。原因是是无论模型

6、的的建立是否正正确，最小二二乘残差的总总和永远为00，即，所以以从作为误差差项的估计值值的的平均，是不不能判断假说说(1)的正正确与否。B-2. 假设设(2) - 各各期的误差项项之间不相关关，即 先介绍一下什么么是自己相关关。假如代表任何时时点，相应的的误差项。如如果是正的时时候，更倾向向于得到正的的值，这种情情况，称之间存在正正的相关；反反之，当为正正的时候，倾倾向于小于00的情况，称称为负相关。假设(4)阐述述那样，说明明变量不是随随机变量，所所以误差项是是一个随机变变量，被说明明变量因此也也成为一个随随机变量。如如果是一个自自己相关的随随机变量的话话，相应的也也成为一个自自己相关的随随

7、机变量。虽然自己不相关关这一假说是是一个非常强强的假设，在在现实中很难难得到满足，但但是在理论研研究上具有很很好的性质，比比如使用方便便等，同时也也可以把结果果发展到自己己相关的状况况下，所以这这个假设还是是很重要的。对于自己相关的的处理方法，将在自己相关那一章中作具体介绍。B-3. 假设设(3) - 误误差项具有相相同的方差，其其中是未知。首先介绍一下均均一方差。对于所有的误差差项来说，它它们都具有相相同的方差的的时候，服从从均一方差分分布；当各时时点误差项的的方差不相同同的时候，服服从异方差分分布。被说明变量与误误差项具有相相同的随机性性质，所以当当服从于均一一方差分布的的时候，被说说明变

8、量也服服从于均一方方差分布；反反之，当不服服从于均一方方差分布的时时候，被说明明变量也服从从于异方差分分布。关于这一假设部部成立的情况况，会在异方方差中详细说说明。B-4假设(44) - 说明变变量是可以指指定的，也就就是说不是随随机变量。所谓指定变量，就就是意味着可可以人为地给给定一个的水水平，可以观观察相应的的的水平。虽然然说明变量是是可以控制的的，但是其他他不可以控制制的影响被说说明变量的因因素是随机变变动的，所以以被说明变量量是确率变量量。这里反复复强调说明变变量是指定变变量，宗旨无无非是想表明明说明变量不不是确率变量量，也就是说说不是随机变变动的，的决决定机制和误误差项的决定定机制是

9、完全全不同的，它它们是独立的的，这就是这这条假设的目目的。在自然科学领域域，说明变量量的水平是可可以控制的，例例如，肥料的的投入量与收收成关系的研研究中，肥料料的投入量是是可以人为控控制的。但是在经济学领领域里，这种种人为的控制制是不可能的的。例如给出出不同的收入入水平，也不不可能策划出出家庭消费，因因为从被调查查家庭这个母母集团中，随随机抽取家庭庭样本时，导导致家庭的收收入水平这一一说明变量就就变得不可以以控制。还可以把假设（44）放松到说说明变量是确确率变量，但但是要与误差项独独立。这种情情况下，在本本章中所展开开的讨论仍然然是有效的，只只是可以把确确率说明变量量理解为一种种条件观察值值。

10、B-5 假设(5) 误差差项服从正规规分布。这里定义误差项项是影响被说说明变量的系系统因素以外外非系统因素素的总和。即即，当k是一个比较较大的数字，相互独立，而且每一个对误差项的影响是非常微小的。这种情况下，根据中心极限定理可以假定误差项服从正规分布。误差项服从正规规分布与否，和和假说（1）同同样，是在建建立理论模型型的时候需要要慎重考虑的的。2。最小二乘法法的几个重要要结果2.1 最小二二乘回归有以以下四个重要要结果：(1). (2). (3). (4). 2.2 结果果的意义结果(1). 这个结果说明最最小二乘残差差的总和一定定是0。这个个结果同理论论模型的好与与坏，前面提提及的假说（11

11、）正确与否否都无关，永永远成立。对对每一个残差差项而言，一一般来说它不不一定是0，我我们由（因为为残差项使不不可观察的，这这里我们为了了强调特意写写成代表残差差项的推导过过程），当过过大地估计的的时候，残差差项就是负的的；当过小地地估计的时候候，残差项就就大于0。但但是总和永远远为0。表明被说明变量量的观察值的的总和与估计计值的总和永永远是相等的的，即，也就就是说它们的的样本平均值值也是一致的的，。有时候会出现，那那更多的是因因为计算中的的误差所至，而而不是否认这这一结果。结果(2). 由结果，很容易易地得到，从从而得到，很很显然，当的的时候，就有有。而残差项与说明明变量的样本本相关系数当，意

12、味着与之之间是线性无无关，即。同样的道理，可可以有得出与之间是线性性无关，即。结果(3). ，称为全变动，反反映被说明变变量在样本平平均周围的变变化程度，称为回归模型型可以说明的的变动，反映映被说明变量量的估计值在在样本平均周周围的变化程程度，称为回归模模型不能说明明的变化部分分。结果(4). 我们利用这个结结果，可以简简单地求出。2.3 结果果的证明证明(1). 证明(2). 证明(3). 证明(4). 最小二乘估计量量的性质一的均值是无无偏估计 ， ； 两边取均均值，有 ， 这表明是是的无偏估计计量。 对于，。二的方差做的五个假设中中假设服从于于正态分布，所所以只要知道道，的均值，方方差和

13、协方差差，就完全知知道的所有统统计特性。 根据方方差的定义，把代入，得到；对于，有；再计算协方差，。三 Gausss-Marrkov高斯斯-马尔可夫夫定理对于古典线性回回归模型，普普通最小二乘乘估计量是最最佳线性无偏偏估计量(BBLUE)。,是样本的线性函函数，所以是是线性估计量量。下面证明明的方差最小小。设的任一线性估估计量为，则则只有当的时候，才是是的无偏估计计量。；作个变换， 第三节 拟合优优度的测度一 概念拟合优度是指两两个变量之间间关系强度的的测度。二 Y的变差的组成成 三拟合优度的的测度3.1 决定定系数在全变动中，只只有是回归模模型可以说明明，所以判断断一个理论模模型具有多少说明

14、力力，用决定系系数的，（EESS: eexplaiined ssum off squaares；TTSS: ttotal sum oof squuares; RSS：residdural sum oof squuares）来来度量，或者者用相关系数数；来度量。的取值值范围在-11到+1之间间，其绝对值值越接近于11，表明被说说明变量与说说明变量的线线性相关程度度越强，当的的时候，称被被说明变量与与说明变量之之间是完全负负的相关，当当的时候，称被被说明变量与与说明变量之之间是完全正正的相关，当当的时候，称被被说明变量与与说明变量之之间是完全不不相关。第四节 区间估估计和假设检检验一的置信区间间

15、最小二二乘法的五个个假设都成立立的情况下，. if is giiven, then we caan esttimatee as ; 1的估计 We will provee is a unbbiasedd estiimatorr for . ; as , annd theen we havewhere , and We willl estiimate by thhe folllowinng , aalike. ,annd theere iss ,andd thenn we hhave , tthen , ,and tthen wwe insstead withh . ; As,and ,and

16、tthen wwe havve .2. conditiional on thhe un-knownn , wee estiimate the iintervval vaalue ffor bby usiing t-valuee. , ass therre twoo paraameterrs .The inttervall valuues foor parrameteer iss .The metthod oof loooking for tt-tablle in the bbehindd of tthe teext, PP186.The queestionn : whhy thee t-vaa

17、lue oof esttimatoor musst equual too 1.966 at lleast ? For exaample: in tthe teext P553.三 Testingg for hypotthesiss 参考书：1 金金融数量方法法陈工孟，陈陈守东译，上上海人民出版版社。？ 为什么要要进行检验呢呢？概率模型仅仅能能够提供回归归系数的估计计，因此有必必要对这些古古迹在多大的的程度上能够够代表着真实实的系数进行行检验。可以以通过加演回回归系数的统统计显著性和和所顾忌的回回归直线的数数据的拟合优优度来进行这这项检验。1. Thee methhod foor tesstin

18、g 建立原原假设和备择择假设；计算算检验统计量量；看是否出出现小概率事事件；得出结结论。 Exaample 3.3 We mustt remeember that We see tthe taable oon P1886, wee can find the vvalue is -11.86. If we waant too findd out the vvalue for , thenn the valuee is -.1.3997;If we wwant tto knoow thee valuue forr ,theen thee two-hand valuee is 33.355.2 系数

19、的显著性检检验 所谓显著著性检验就是是检验参数是是否为0。也也就是检验每每一个估计系系数是由于偶偶然性而落在在分布的尾部部，还是落在在分布的主体体范围内。即即判断与否。 系数的的统计显著性性可以用估计计值的离散程程度来衡量。由由于误差或残残差被假定服服从正态分布布，误差的标标准偏差就可可以用来衡量量这种分散程程度，这种标标准偏差被称称为系数的标标准误差。我我们用t统计计量来度量系系数的显著性性程度。为了了得到这些度度量，我们首首先需要知道道：系数的抽样分布布；系数的方差以及及标准误差的的估计；这样，我们就可可以检验关于于系数的假设设，或对期建建立置信区间间。 原假设：是是指在统计检检验中没有证

20、证据能够拒绝绝它时将会被被接受的假说说。 备择假设：拒绝原假设设，就会接受受备择假设。 真真实的情况 原假假设为真的aand 接受受原假设 原原来假设有误误and aacceptted判 接受原原假设 对 第二类错错误断结 拒绝原原假设 第一类错误误 对果我们最想避免的的是第一类错错误。因此我我们设置相应应的显著性水水平，使得发发生这种错误误的概率小一一些。检验的步骤：step-1 确定显著著性水平. 显著性水平平意味着偶然然性的概率。例例如95%，就就意味着955%的概率不不是出于偶然然。step-2 设置原假假设中的大小小step-3 查表找出出临界值step-4 判断出现小概率时间间的话

21、，则表表明在显著性性水平下，原原假设不成立立。单边检验：右边：大于右侧侧的临界值，表表明样本太大大了，他成为为总体的代表表的概率小于于我们所设定定的显著性水水平。p-valueep-valuee是原假设成成立的情况下下，标准化的的检验统计量量取值得概率率。Examplee 3.4 P55进一步阅读文献献：Bowers,D.,19991,Sttatisttics ffor Ecconomiics annd Bussinesss, Maccmillaam，Lonndon.Silver,M.,19992,Buusinesss Staatistiics, MMcGraww-Hilll,Londdon四

22、 回归结果的提供供和分析1 回归结果提供的的格式 two ttypes2. 回归结果果的分析 2-1 系数的说说明。符号，大大小，意义等等。 2-2 拟合情况况。 2-3 系数的显显著性。 2-4 误差项是是否存在自相相关。第五节 利用回归进行预预测 (foorcastting) P56一 预测的概念 P56 通过说说明变量来推推测被说明变变量的大小。二 预测的隐隐含条件： 对于新的观观测值来说，回回归模型也成成立。三 预测的误误差 P557 预测测有点预测值值和区间预测测值。 提供供点预测值的的同时，必须须提供预测值值的预测误差差。预测误差的来源源：一是预测测期间的扰动动项假设为00；二是样

23、本本估计值不一一定就是总体体值。 他是一个无偏估估计； 表明的时候，预预测误差达到到最小；其他他的时候，预预测误差向两两侧非线性递递增。四 预测的置置信区间 or 3 系数的显著性检检验 所谓显著著性检验就是是检验参数是是否为0。也也就是检验每每一个估计系系数是由于偶偶然性而落在在分布的尾部部，还是落在在分布的主体体范围内。即即判断与否。 系数的的统计显著性性可以用估计计值的离散程程度来衡量。由由于误差或残残差被假定服服从正态分布布，误差的标标准偏差就可可以用来衡量量这种分散程程度，这种标标准偏差被称称为系数的标标准误差。我我们用t统计计量来度量系系数的显著性性程度。为了了得到这些度度量，我们

24、首首先需要知道道：系数的抽样分布布；系数的方差以及及标准误差的的估计；这样，我们就可可以检验关于于系数的假设设，或对期建建立置信区间间。 原假设：是是指在统计检检验中没有证证据能够拒绝绝它时将会被被接受的假说说。 备择假设：拒绝原假设设，就会接受受备择假设。 真真实的情况 原假假设为真的aand 接受受原假设 原原来假设有误误and aacceptted判 接受原原假设 对 第二类错错误断结 拒绝原原假设 第一类错误误 对果我们最想避免的的是第一类错错误。因此我我们设置相应应的显著性水水平，使得发发生这种错误误的概率小一一些。检验的步骤：step-1 确定显著著性水平. 显著性水平平意味着偶然

25、然性的概率。例例如95%，就就意味着955%的概率不不是出于偶然然。step-2 设置原假假设中的大小小step-3 查表找出出临界值step-4 判断出现小概率时间间的话，则表表明在显著性性水平下，原原假设不成立立。单边检验：右边：大于右侧侧的临界值，表表明样本太大大了，他成为为总体的代表表的概率小于于我们所设定定的显著性水水平。p-valueep-valuee是原假设成成立的情况下下，标准化的的检验统计量量取值得概率率。Examplee 3.4 P55进一步阅读文献献：Bowers,D.,19991,Sttatisttics ffor Ecconomiics annd Bussinesss

26、, Maccmillaam，Lonndon.Silver,M.,19992,Buusinesss Staatistiics, MMcGraww-Hilll,Londdon五 回归结果的提供供和分析1 回归结果提供的的格式 two ttypes2. 回归结果果的分析 2-1 系数的说说明。符号，大大小，意义等等。 2-2 拟合情况况。 2-3 系数的显显著性。 2-4 误差项是是否存在自相相关。第六节 利用回归进行预预测 (foorcastting) P56一 预测的概念 P56 通过说说明变量来推推测被说明变变量的大小。二 预测的隐隐含条件： 对于新的观观测值来说，回回归模型也成成立。三 预测

27、的误误差 P557 预测测有点预测值值和区间预测测值。 提供供点预测值的的同时，必须须提供预测值值的预测误差差。预测误差的来源源：一是预测测期间的扰动动项假设为00；二是样本本估计值不一一定就是总体体值。 他是一个无偏估估计； 表明的时候，预预测误差达到到最小；其他他的时候，预预测误差向两两侧非线性递递增。四 预测的置置信区间 or 五 例题 Exampple 3.5 , 3.6 , 3.77例题3.5 P59 区间估计计：（1） 显著性水平 （2） 查表 （3） 例题3.6 P600 思路：是否来自自于同一总体体，有两种方方法一是检验均值和和方差是否显显著地不同于于总体的均值值和方差；二是检

28、验预测误误差是否显著著地不同于00。（1） 计算预测误差 ；（2） 建立原假设和备备择假设： （3） 检验统计量： ；（4） 查表： （5） 比较： 小结 P655 五 例题 Exampple 3.5 , 3.6 , 3.774 参数估计计的样本分布布以及的估计计5最小二乘估估计量的特性性6 的区间估估计与检验7 去除时间间趋势8 预测9 没有常数数项的最小二二乘法10练习题确定性模型和概概率模型：确定性模型，是是指一旦说明明变量的值是是已知的，那那么被说明变变量的值就可可以准确地知知道。同方差性（hoomosceedastiic）,与说说明变量的大大小无关，误误差性的波动动幅度是一个个常数。