最小二乘法探究

《最小二乘法探究》由会员分享，可在线阅读，更多相关《最小二乘法探究（4页珍藏版）》请在装配图网上搜索。

1、最小二乘法探究0. 前言最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二乘法( ) 又称最小平方法，一元线性回归法，是一种数学优化技术，用于建立经验公式，利用它可以 把生产或实验中所积累的某些经验提高到理论上加以分析。它通过最小化误差的平方和寻找 数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据 与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合,是我们在建模竞赛中 常用的一种手段。一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二乘法对于统计学具 有十分重要的意义。相关

2、回归分析，方差分析和线性模型理论等数理统计学的几大分支都以 最小二乘法为理论基础，正如美国统计学家斯蒂格勒S.M,Stigler)所说，“最小二乘法之于 数理统计学犹如微积分之于数学”。故对最小二乘法做一番探究进而理解并掌握这一思想是 十分有必要的。1. 原理在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点 的距离的平方和达到最小。根据教材中的描述(两个变量间的函数关系)，其基本原理为：根据已知的自变量与因变量数据做出散点图，进而观察判定出两者间的函数关系，本次 探讨以一次函数关系为例，其他类型的函数关系也可通过两边取对数等方法转化为一次函数 形式进行求解。认

3、定y =)是线性函数J(%) = ax + b a,b即为待求的常数。对于求的函数，我们希望它可以尽可能多的拟合到已知的数据点，或者说尽可能的靠近。转化为量化形式即为使偏差都很小，对此经过综合分析我们用M = imaxyi - (ax. +b)2最小来保证每 11i=011个偏差的绝对值都很小，即根据偏差的平方和为最小的条件来确定常数a,b。然后运用多远 函数的极值求法知识来求解求M = (a,b )的极小值，具体步骤为：M (a,b) = 0 alMb(a,b) = 0dM = 2 imaxy 確 + b)佗=0dal=0(如=2 imaxy (aX + b) = 0 dbi=011yima

4、xy (aX + b)%. = 0 i=0111maxy (ax_ + b) = 0r a y max x2 + b /tmax x =乙 i=0 i4=0 iI ai=0ima%x.+ 8bySSxyixi(1)然后再列表计算ym，y驴叫，璽此叫，及ysxyi，代入方程组，即可求出a,b。 I02. 证明最小二乘法的本质是最小化系数矩阵所张成的向量空间到观测向量的欧式误差距离，故 本次探究选择从欧式空间来证明最小二乘法：为便于讨论以及深入理解该问题，我们从一般的最小二乘法问题入手证明。 实系数线性方程：(ai1X1+ai2X2 + + ainXn b1 = 0a x + a x + a x

5、b = 0ml 1 m2 2mn n ma x + a x + a x b = 0 1 2 ”2据经验，方程组很有可能无解，所以我们退而求其次，对于式M =工二4占+ i2x2 + inxn by，我们设法找实数组心，%2(方程组的最小二乘解)，使M最小即可，并不强求其一定要为零。到此，已整理出了一般最小二乘法问题求解的形式，下面据此利用欧式空间的概念来表达最小二乘法，并给出最小二乘法所满足的代数条件:令na. x j1 1aa abX 1j=111121n11aA= 21a22 a2nB= XX二丫二工aj2X2 =AXjp.aa abXm1m2mnmnyna. xjm n j=1用距离的概

6、念，M = |Y B|2。最小二乘法就是找C，%2，使丫与B的距离最短，但从 M 式知向量 Y 就是aaa11121naaaY = % 1 + %2 2 + + r 口aaam1m2mn扌巴A的各列向量分别记为a】,勺，务。由他们生成的子空间为L = (a1, a2, a九)，丫就是L = (a1 , a2, , 中的向量。于是最小二乘法问题可叙述成：找X使M最小，就是在L = (a1, a2, , a九)中找一向量丫，使得B它的距离比到子空间L = (a1, a2,a)中其它向量的距离都短。应用前面所讲的结论，设Y = AX = x1a1 + x2a2+ xnan是所要求的向量，则C二B-丫

7、二B- AX必须垂直于子空间L = (a1, a2, , an)。为此只需而且必须(C,。=(Ca?)= (C,an) = 0,根据矩阵乘法规则，上述一串等式可以写成矩阵相乘的形式，即a；C = 0,a aan，按行正好排列成4*,上述一串等式结合起来就是A(B AX)= 0或4*4X = 4叨,这就是最小二乘所满足的代数方程，它是一个线性方程组，系数矩阵是4*4, 常数项是A*BO3高斯与最小二乘法1809年，高斯发表天体运动理论。在该书的末尾，他写了一节关于”数据结合“的问题， 以极其简单的手法导出误差分布，并用最小二乘加以验证。关于最小二乘法，高斯宣称自 1795 年以来他一直使用这个定

8、理。这立刻引起了勒让德的强烈反击，他提醒说科学发现的 优先权只能以出版物确定(最小二乘法最早出现在勒让德1805年发表的论著计算彗星轨 道的新方法附录中)，并严斥高斯剽窃了他人的发明。这两位数学家之间持续多年的关于 优先权的争论，在数学史上的知名度仅次于牛顿和莱布尼兹之间关于微积分发明权的争论。 现在一般认为，二人之间各自独立地发明了最小二乘法。尽管是高斯早十年使用了这个原理， 但第一个用文字发表的是勒让德。高斯是“能以九霄云外的高度按照某种观点掌握星空和深奥数学的天才“。的确，相比而言 高斯不愧为数学王子，他把最小二乘法推进的更远，更深刻，进而极大地推进了数理统计的 发展。故本次探究以分析研

9、究高斯的推导研究为主，他是由误差函数推导出这个方法并详尽 阐述了最小二乘法的理论依据。其推导过程如下：设误差密度函数为f(x),真值为X X, %2为n个独立测定值，因为观测是相互独立的，因而这些误差出现的概率为:L(x) = L(x;x1, x2-xn)=n=1f(xi-x)。要找出最有希望的 误差函数应使L(x)达到极大，高斯认为X就是x的估计值，并使L(x)取得极大值。对上式两端 取对数得：nL(x) =Jln/( %)求导得二富，记g(x)=贷 则有 =丄dxl= f(x-x)f(x)叫-x) = 0求对石的偏导数：恋+血 = 0，而暫加=0,则有 = 1 (in),则对于1叭 %阻日

10、1阻任意i有迦二皿，即恋= c(c为常数)叫 %dxi 可得g(x) = cx + b ，以及y 9(七初=力世c(叫x) + b = c.(叫刃+必=0 ，因冰(叫初=0,可推导的b=0,则有g(x)=心 = 1= If(x)积分可得f(x) = ke；c”2 ，由 J00 f(x) d(x) = 1，则应有 c可得k = ，则有f(x)二古仁昇 此即正态分布N(0q2)。这样可知(X1，%2)误差密度函数为 &28)九旳士力笃(叫X)2，要使此时达到极大值，选取心，%2G而使力笃匕一 x)2达到极小值。于是可得心，%2G最小二 乘法估计。由以上推证过程可知，高斯是用逆向思维来思考这个问题，

11、即先承认算术平均值x是所 求的估计，即“如果在相同的环境和相同的管理下对任一个量经过多次直接观测确定，则这 些观测的算术平均值是最希望要的值“。这是高斯大胆采用了人们千百年来的实际经验，实 为高斯之独创思维。这也正如他所说：”数学，要有灵感，必须接触现实世界”。4质疑我们信仰科学，但绝不迷信科学，科学精神应持有怀疑的态度。对于如此经典的最小 二乘法，我还是不禁要问一句:他真的是一种完美的理论吗？有疑问总归不是坏事，自以为 是不是更可怕吗？疑问：从最简单的具有线性的最小二乘问题的几何意义上去理解，最小二 乘就是要找一条直线去尽可能的拟合数据点，那好，我们本能的自然想法是：“应该用这样 的直线，它

12、使得每个点到直线的距离之和最小”，注意我们此时所理解的距离不就是点到直 线的距离吗？而最小二乘法提供的约束条件却是M =；：为-叫+ b）2最小，即考虑 的是要使竖直方向上的偏差兀-f（叫）尽可能的小，这显然与我们的相当然”有出入。下面就 对这一疑问试着做如下探究：经过查阅相关内容，我发现这个自然的想法很多人在初学时也都有想过。最后明白原来 最根本的原因是哲学/逻辑上的。我们做回归分析，有自变量x,有因变量y,寻找的是y 和x之间的联系，更确切的说是知道x怎么求y。所以x和y是两个本质不一样的量，一个 是因，一个是果。现在再来看我们的自然想法：“应该用这样的直线，它使得每个点到直线 的距离之和

13、最小”，这种方法其实是将因果混为一谈了，试图在（x,y）这个向量空间里找一个最 好的超平面。不说错误吧，这至少是一个不自然的逻辑。最小二乘的逻辑就自然多了。比如 说我有一个因变量y和两个自变量x1,x2,它们在我观测到的样本里都表现为一个个的向量。 最小二乘是在做什么呢？它是在观测到的x1和x2的向量所生成的线性空间中，找一个离观 测到的y向量最近的点。从几何上看，这就是正交投影。有很多人说最小二乘不一定最好， 我们也可以用别的距离。这固然不错，但最小二乘的优越性恰恰体现在它最“自然”这一点上。 我们最习惯的空间是有内积的欧式空间，如果用其它任何一种距离，这种“自然”的内积就没 有了，不变性就

14、没有了。不用这个距离，最小方差（BLUE ）的性质就没有了。不用这个距离， 相当于是假设噪声服从另外一种分布（不再是正态分布）。说的高一点，整个现代科学的方 法就是”归纳“和”演绎“两条。从归纳的角度出发，实际问题中碰到什么分布的噪声就应该用 那种分布；从演绎的角度出发，什么方法最”自然“，最”漂亮“，最“易于理解”就尽量去用这种 方法。欧式距离是最自然最直观的距离，正态分布是最常见最容易处理的噪声分布，那自然 最小二乘就是最优的方法了。5.结语最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家的广泛关注。据不完 全统计，自1805年至1864年的60年间，有关最小二乘法的研究论文达

15、256篇，一些百科 全书包括1837年出版的大不列颠百科全书第七版，亦收入有关方法介绍。现如今，在CNKI 中国知网检索“最小二乘法”词条，可查到412191篇有关研究论文；在EMIS（欧洲数学学会） 官网上搜索“Least squares”词条，可出现21482篇相关文献，最小二乘法的广泛应用与研究 由此可见一斑。本次探究限于笔者知识的有限性以及时间的紧迫性，仅算是对最小二乘法做 了初步的认识，显然并不能完全参透解释最小二乘法的所有奥秘，学海无涯，后会有期。参考文献：1. 白 欣 贾 徐 . 最 小二 乘 法 的创 立 及 其思 想 方 法. 西 北 大学 学 报 ：自 然科 学 版 . 2006;36(3):507-11.2. 邹乐强.最小二乘法原理及其简单应用科技信息.2010(23):282-3.3. 高等数学下册/同济大学数学系编.-6版-北京：高等教育出版社，2007.64. 其它：百度词条，知乎