非负回归系数的线性回归模型的构建

《非负回归系数的线性回归模型的构建》由会员分享，可在线阅读，更多相关《非负回归系数的线性回归模型的构建（8页珍藏版）》请在装配图网上搜索。

1、非负回归系数的线性回归模型的构建谢忠秋 （江苏常州，江苏技术师范学院经济管理系，213001） 摘要：本文针对某些线性回归模型负的回归系数不具有实际的物理意义和经济意义的问题， 提出了非负回归系数的线性回归模型构建的新方法。与现有的方法相比较，该方法具有简单 和易操作的特点。在实际中具有一定的应用价值。关键词：非负回归系数 非负回归系数线性回归模型一、引言在许多的实际问题中，必须要求线性回归系数为非负，否则没有实际意义。例如在方开 泰等人研究的配方问题中就是如此。在配方问题中，每个成分的线性回归系数相当于它在总 配方中的比例，若线性回归系数为负就失去了物理意义（1982，1985）。而事实上，

2、在用线 性回归模型反映实际经济问题时，我们也会常常遇到这样的情况，就是线性回归模型的回归 系数从经济意义上进行阐释，应为正数，但根据最小二乘法所确定出的线性回归模型的某一 个或某几个回归系数却偏偏为负数，从而出现了其计算结果与经济分析相互矛盾的情形。对 此种情况，通常的做法就是运用一定的方法将该变量从回归模型中消除。如果说，对于不太 重要的变量，这样做还没有多大影响的话，那么对于一些非常重要的变量，这样做就可能会 产生一些消极的作用，如回归模型失真等等。那么，能否在遵守一定规则的前提下，通过某 种科学的方法使负的回归系数转变为正的回归系数呢？这就是有关非负回归系数的线性回 归模型的构建问题。显

3、然，我们有必要这一问题进行研究，这将有助于人们更好地利用线性 回归模型对实际物理问题和实际经济问题作出合理的阐述和解释。对非负回归系数的线性回归模型的构建问题，Waterman在1974年曾进行过讨论，他建 议用一切可能回归的办法来求最小二乘估计；我国学者方开泰、王东谦、吴国富也在 1982 年对这一问题展开研究，提出了立足于矩阵的消去变换方法；而后方开泰、贺曙东又在1985 年对这一方法作了进一步的改进，使这一方法的应用更具一般性（1）、（2）。显然，他们的贡 献是巨大的。但也应该看到，这些方法在实际应用上还存在着一定的缺陷，最大的缺陷就是 它们的计算过程还相当复杂，而这对于很多的人来说，无

4、疑是一道难以逾越的障碍。本文试 图给出另一种解决方案。该方案对于熟悉统计学和稍有数学基础的人是容易接受和掌握的。二、研究思路和方法设多元线性回归模型为：Y * = b * + b * X + b * X + b * X(2.1)0 1 1 2 2 n n（1） 、方开泰、王东谦、吴国富 一类带约束的回归配方回归计算数学1982 年第1 期 p5769（2）方开泰、贺曙东含有线性约束及非负回归系数的回归模型计算数学1985年第 3期 p237246对于非负回归系数的线性回归模型来说，如果根据最小二乘法所求出的b*、b*、b*1 2 n 俱能在经济意义上解释得通，则意味着上述模型符合要求，直接应用

5、即可。而事实上，在许 多实际的线性回归模型中，当某一个或某几个变量的回归系数表现为负数时，往往表现出与 实际经济意义的解释并不相符的情形。换句话说，只有表现为非负时，才具有经济意义上的 合理性。如果出现这种情况，则意味着该模型不符合非负回归系数线性回归模型的要求。此 时，一个简单而自然的想法就是根据某些规则通过一些变换，将负的回归系数（注意：并不 是所有的负的回归系数，而只是那部分不具有经济意义上的合理性的负的回归系数） 转变 为非负的回归系数。有关变换规则及过程如下：1、对不具有经济意义上合理性的负的回归系数（为简便计，不妨直接称之为负的回归系数，下同）乘以一个负的调整系数，使之变换为非负回

6、归系数。设非负回归系数为 b ，i负的回归系数为b*，负的调整系数为p，则b = p b *， i = 1,2,m。（2.2）i1i1 i2、由于b*变换为b，则必然引起具有经济意义上合理性的回归系数（为简便计，也不ii妨直接称之为正的回归系数，下同）的回归系数的变动。设变动后的正的回归系数为 b ，j变动前的正的回归系数为 b* ， 正的回归系数调整系数为 p ， 则 b = p b* ， j 2 j 2 jj = m = 1， m + 2,n （2.3）3、同样，由于b*变换为b，b*变换为b，也必然会引起截距项的变动。设变动后的 iijj截距项为b，变动前的截距项为b*。004、 为保证

7、p为负，p为正，令= -1，即p = -p o （2.4）12p1225、不管回归系数如何变化，总是要求变化后的剩余变差与变化前的剩余变差相等，即工（Y f ）2 =工（Y Y *）2 =工 e2（2.5）于是，非负回归系数线性回归模型为：+ b X + + b X + b X + + b X22m mm +1m +1n n2.6)b = p b * i = 1,2,mi1 ib = p b * j = m + 1,nj2 jb 0i用最小二乘法，则要求：min( Q) = X (Y b b X b X b X b X b X )2(2.7)01 12 2m mm +1 m + 1n n于是，

8、(2.6)式就可变换为下列模型：min( Q)=工(Y - b - b X - b X -b X - b X - b X )201122m mm +1m +1n n2.8)b - p b * = 0 i = 1,2,，mi1 ib - p b * = 0 j = m + 1, nj2 jb 0i（2.8）式的含义是在（2.2）式、（2.3）式条件下求（2.7）式的最小值。显然，对于（2.8） 式可以用拉格朗日乘数求条件极值的方法求出该模型的解。构成函数：min( Q) = S (Y - b - b X - b X b X - b X b X )201122m mm 十 1 m 十 1nn+ 九

9、(b- p b *) +九(b- p b *) + + 九 (b -p b * )111 1221 2m m 1 m+ 九 (b - p b * ) + 九 (b - p b * ) + + 九(b - p b *)m +1 m +12 m + 1m + 2 m +1 2 m + 2n n 2 n求其对b、b、b的偏导数，并使之为零，得到：0 ijab= (-2)S (Y - b -0bX -1bX22mmbX- -b X )(Xnn=0ab(-2)S (Y - b - b0X11X-2mmm + 1m +1 b X )(X ) + 九=0nna Q=(-2)工(Y - b-b X-b X -

10、bX-b X-bX)=0a b001122mmm + 1m + 1nna q= (-2)S (Y - b-bX-bX -bX-b X-bX)(X ) + X = 0ab101122mmm + 1m + 1nn11a q=(-2)工(Y - b-bX-bX -bX-b X-bX)( X ) + X = 0ab201122mmm + 1m + 1nn22a q-=(-2)工(Y - b-bX-bX-bX-b X-bX)( X ) + X = 0a b01122mmm + 1m + 1nnmmm分别对上述各式进行整理得：SY-nb -bSX -b SX0 1 1 2 2-bSX-b S X = 02

11、.9)SXY-bSX -bSX2-bSX X212 -b S X X -b S X X -b S X X1m1nSX Y-bS20-bS1X X -b S X 21 2 2 -b SXX2mXX2 m + 1 -b S=0XX2nb XX m - = 0 n m2E X Y - b E X - b E X X - b E X X b E X 2 - b E X Xm0m 11 m 22 mmmm+1m+1mEX Y-bm +10EX -bEXX -bEX X11 m+122XXm m+1-b E X2m +1EXYnX X -b E X X1 n 22XXm-b Em+1X X - - b m

12、 +1n显然，要求出b、b、b、b、0bm+2的值，关键在于求出 p 、 p 。12由（2.5）式工（Y即：工 Y 2 - b0 工 Y -bi 工 x 1Y 一 b2 工 X 2 -bm 工X Y -bmX ,Yb E X Y = E e2m + 1n n将（2.2）式和（2.3）式代入上式得：工 e2 = E Y2 A 工 Y n (b* *工 X,Y + b*工 X Y + + b* 工01 1122mY)- p (b* E X Y + + b*Em 2m + 1m + 1nX Y ) (2.12 ) n将（2.4）式代入（2.12）式，则有：工 Y 2 - b0 工 Y - P(b：工

13、 X Y + b；工 X 2Y + + b；工XmY)+ p1(bm*+1X Y + +b*Em + 1n2.13)进一步整理得：E e2 = E Y 2 - b0 E Y - pj(b； E X / + b； E X 2Y + + b： EX Y)- (b*Emm + 1XnY)2.14)X Y) (2.15 )解(2.14)得：工Y将（2.2）式、（2.3）式和（2.15）代入（2.9）得E Y 2 - E e 2 - p (b E Y 2 - E e 2 - p (b * E X Y + b * E X Y + + b * E X Y) - (b * E X Y + + b * E X

14、Y) E Y = nl E X Y + b * E X Y + + b *+ p ( b * E X +1 1 1b*E2X + +b*E X )2mm(b * Em + 1+ + b*E X )nn移项并整理得：E X Y + + b * E X Y)m + 1nn* E Y E X + + b * E Y E X )m + 1m + 1nnn(E Y 2 -E e2)- (E Y)2=p n( b * E X Y + b * E X Y + + b * E X Y) - (b 11122m- p (b* EYE X + +b* EYE X )- (b111mm进一步整理得：n (E Y 2

15、 - E e 2) - (E Y )2 = p b *( n E X Y - E X E Y) + + b * (n E X Y - E X E Y)1111mmm-b * (n E X Y - E X E Y) + + b *( n E X Y - E X E Y)m + 1m + 1m + 1nnn所以：n(E Y2 - E e2) 一 (E Y)21b*(nE X Y - E X E Y) + + b* (nE X Y - E X E Y) - b* (nE X Y - EX E Y) + + b*(nE X Y - E X E Y)111mmmm+1m+1m+1nnn相应地：n（工 Y

16、2 一工 e2） 一 （工 Y）22b*（nX 工 Y） + + b*（n 工 X Y 一工 X 工 Y） 一 b * （nA X Y 一工 X 工 Y） + + b*（n 工 X Y 一 工X工 Y）111mmmm + 1m + 1m + 1nnn将p、 p代入（2.2）、（2.3 ）即可求得b、b ；将b、b代入相应的方程，即可求得九、九。1 2 i j i j i j最后，将p、p再代入（2.9）式可求得b。1 2 0三、非负多元线性回归模型的检验1、非负多元线性回归模型的多重判定系数R 2和调整后的多重判定系数R 2无论是非负多元线性回归模型，还是原多元线性回归模型，其总变差（TSS

17、）都是不变的，即都等于工（Y - Y ）2,而我们又假定两者的剩余变差（RSS ）也是不变的，因而其有解释的变差（ESS ）也是不变的。由此决定，两者的多重判定系数R 2和调整后的多重判定系数R 2也 必定相等。2、 F 检验 同理，非负多元线性回归模型与原多元线性回归模型的 F 统计量也必定相等。3、对非负多元线性回归模型的单个回归系数的显著性检验（t检验）由于 b = p b*, b = p b*，所以，Var (b ) = Var (p b *) = p 2Var (b *)1 i 1 iVar (b ) = Var (p b*) = p2Var (b*)jbp b *b *;ii1Va

18、r (b )p2 Var (b *)i1iJar (b *)i计算t统计量，t =2 j 2可见，非负多元线性回归模型的单个回归系数（ b）的 t 统计量与原多元线性回归模型的单个回归系数（b*）的t统计量也是相等的。同理，（b ）与（b*）的t统计量也是相等的。i j j综上所述，尽管非负多元线性回归模型与原模型有所不同，但原模型的各种显著性检验 的结果同样对非负多元线性回归模型有效。四、实例应用实例来源于参考文献（1）。详细数据如下表所示：表 1 原始数据表年份YXIX2X3X4X51231301018888149114.89180.922298335021958638916.0420.3

19、93343368825319220419.53570.254401394127999530021.82776.715445425830549992223.27792.4363914736335810604422.91947.775545652390511035326.021285.2287447020487911211027.721783.399977859555210857932.432281.951013109313638611242938.912690.2311144211738803812264537.383169.4812128313176900511380747.192450.14

20、1316601438496639571250.682746.214217816557109699508155.913335.6515288620223129859969383.663311.5163383248821594910545896.084152.7表中，Y表示民航客运量（万人），XI表示国民收入（亿元），X2表示消费额（亿元）， X3 表示铁路客运量（万人）， X4 表示民航航线里程（万公里）， X5 表示来华旅游入境人 数（万人）。以Y为因变量，XI、X2、X3、X4、X5为自变量，运用SPSS软件，对上述 原始数据做回归分析，有关输出结果见结果 1结果 1Model Summar

21、yModelRR SquareAdjusted R SquareStd. Error of the Estimate1.999.998.99749.4924a Predictors: (Constant), X5, X3, X4, X 2, X1ANOVAModelSum of SquaresdfMean SquareFSig.1Regressi on13818876.76952763775.3541128.303.000Residual24494.981102449.498Total13843371.75015a Predictors: (Constant), X , X , X , X ,

22、 X 53421b Dependent Variable: YCoefficients何晓群、刘文卿编著应用回归分析中国人民大学出版社2001年6月第一版p84-87Unstandardized CoefficientsStandardizedCoefficientstSig.BStd. ErrorBeta（Constant）450.909178.0782.532.030X1.354.0852.4474.152.002X2-.561.125-2.485-4.478.001X3-7.254E-03.002-.083-3.510.006X421.5784.030.5315.354.000X5.43

23、5.052.5648.440.000a Dependent Variable: Y由结果1可见，X2的回归系数是负的，为-0.561, X2是消费额，负的回归系数显然 是不合理的。但X3的回归系数- 0.00725却是合理的，X3是铁路客运量，一般认为铁路客 运量和民航客运量之间应呈负相关关系。那么，又该如何保持X2的回归系数的合理性呢？ 显然，我们可以采用构建非负回归系数的线性回归模型的方法对此进行一定的技术处理。根据表 1，可计算出如下数据：工 Y = 18546，Y = 1159.125，工 X = 153787，T = 9611.6875，工 X = 103156，1 1 2X = 6

24、447.25，工 X = 1637217，X = 102326.0625，工 X = 614.4， X = 38.4,23344工 X 5 = 1930.923125，X = 120.6826953，工 Y 2 = 35340504，工 X Y = 272984036,51X Y = 179952578,工 X Y = 1.934E+09,工 X Y = 1048142，工 X Y = 523786302345将上述数据代入 p 、p 的计算公式得：12p = -0.143637018，p = 0.14363701812=-0.001041,3b = 3.0993996,4再代入（2.9）和（

25、2.2）及（2.3）得：b = 130.8745791, b = 0.0508475, b = 0.0805804 , b0 1 2b = 0.06248215最后求得新构建的非负回归系数的回归模型为：Y = 130 .87 + 0.051 X + 0.081 X 0.001 X + 3.099 X + 0.062 X12345正如前述 原回归模型的所有检验数均对新回归模型有效。同时 新回归模型的剩余变 差为：工 Y 2 b 工 Y b 工 X Y b 工 X Y b 工 X Y b 工 X Y b 工 X Y01122334455=35340504- 130 .87 x 18564 - 0.051 x 272984036- 0.081 x 179952578+ 0.001 x 1.934 E + 93.099 x 1048142 0.062 x 52378630= 24494 .981新回归模型的剩余变差与原回归模型的剩余变差相等。总之，与原回归模型相比，新构建的非负回归系数的回归模型中的 X 的回归系数2 为正，其经济意义和现实意义也显得更为合理。而且在计算方法上，也较之方开泰等人 所提出的方法来得更为简单和更容易操作，因而具有一定的应用价值。（全文完）b =111220