最小二乘法探究

《最小二乘法探究》由会员分享，可在线阅读，更多相关《最小二乘法探究（5页珍藏版）》请在装配图网上搜索。

1、最小二乘法探究0.前言最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二乘法Least squares 又称最小平方法，一元线性回归法，是一种数学优化技术，用于建立经验公式，利用它可以 把生产或实验中所积累的某些经验提高到理论上加以分析。它通过最小化误差的平方和寻找 数据的最正确函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数 据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合,是我们在建模竞赛 中常用的一种手段。一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二乘法对于统计学具 有

2、十分重要的意义。相关回归分析，方差分析和线性模型理论等数理统计学的几大分支都以 最小二乘法为理论根底，正如美国统计学家斯蒂格勒S.M,Stigler所说，“最小二乘法之 于数理统计学犹如微积分之于数学。故对最小二乘法做一番探究进而理解并掌握这一思想 是十分有必要的。1.原理在古汉语中“平方称为“二乘，“最小指的是参数的估计值要保证各个观测点与 估计点的距离的平方和达到最小。根据教材中的描述两个变量间的函数关系，其根本原 理为：根据的自变量与因变量数据做出散点图，进而观察判定出两者间的函数关系，本次探讨 以一次函数关系为例，其他类型的函数关系也可通过两边取对数等方法转化为一次函数形式 进展求解。

3、认定y = （口）是线性函数：（口）= ax + b a,b即为待求的常数。对于求的函数,我们希望它可以尽可能多的拟合到的数据点，或者说尽可能的靠近。转化为量化形式即为使偏差口 （口口）都很小，对此经过综合分析我们用=： 口 + b）2 最小来保证每个偏差的绝对值都很小，即根据偏差的平方和为最小的条件来确定常数a,b。 然后运用多远函数的极值求法知识来求解求M = （a, b）的极小值，具体步骤为：$(，) = 0) = 0 士 = 2 工出口口 -（a口 + 明口腐=-2 马产口-口 + b） =00卩氏 F口-口 + 明口 = 0 斗口 口 + b)= 0为+为口口 =0口=m口工丨丨丨+

4、8口 = 然后再列表计算工口务:, :,及=,代入0=0方程组1即可求出a,b。2.证明最小二乘法的本质是最小化系数矩阵所成的向量空间到观测向量的欧式误差距离，故本 次探究选择从欧式空间来证明最小二乘法：为便于讨论以与深入理解该问题，我们从一般的最小二乘法问题入手证明。 实系数线性方程：职+俎+匚+=嗯-m=0口1口1 + 口口2口2 + + 口口 - 口 = 0据经验，方程组很有可能无解，所以我们退而求其次，对于式 = _ + 2口2 + 口口 - 口口2，我们设法找实数组 ，口2口方程组的最小二乘 解，使M最小即可，并不强求其一定要为零。到此，已整理出了一般最小二乘法问题求解 的形式，下面

5、据此利用欧式空间的概念来表达最小二乘法，并给出最小二乘法所满足的代数条件:令1112挡1口1A= 口1浮口2口 B=E2 x=E2 Y= Z=1Pa22 =AX12口口口用距离的概念,M = |口 口卩。最小二乘法就是找1，口2口，使Y与B的距离最短， 但从M式知向量Y就是11口12口1口Y =口21 +口2 口22 + 口2口 1 2 1口口2口把A的各列向量分别记为, 口2，口。由他们生成的子空间为L = （, 口2, ，口）,Y就是L =（, 口2，口）中的向量。于是最小二乘法问题可表达成：找x 使M最小，就是在L =（, 口2，口）中找一向量Y,使得B它的距离比到子空间L = （口2，

6、口）中其它向量的距离都短。应用前面所讲的结论，设Y = AX = + 口2口2 口是所要求的向量，那么 C=B-Y=B-AX必须垂直于子空间L =（口2，口）。为此只需而且必须） = （C, 口2）=（C,口）= 0,根据矩阵乘法规那么，上述一串等式可以写成矩阵相乘的形式, 即:=。，口口 = 0,，占 = 0,而口；,；,，按行正好排列成笃上述一串等式结合起来就是口 *（ ） = 0或口= *,这就是最小二乘所满足的代数方程，它是一个线性方程组，系数矩阵是，常数项是口 *DO3高斯与最小二乘法1809年，高斯发表天体运动理论。在该书的末尾，他写了一节关于数据结合“的问 题，以极其简单的手法导

7、出误差分布，并用最小二乘加以验证。关于最小二乘法，高斯宣称 自1795年以来他一直使用这个定理。这立刻引起了勒让德的强烈还击，他提醒说科学发现 的优先权只能以出版物确定最小二乘法最早出现在勒让德1805年发表的论著计算彗星 轨道的新方法附录中，并严斥高斯剽窃了他人的发明。这两位数学家之间持续多年的关 于优先权的争论，在数学史上的知名度仅次于牛顿和莱布尼兹之间关于微积分发明权的争 论。现在一般认为，二人之间各自独立地发明了最小二乘法。尽管是高斯早十年使用了这个 原理，但第一个用文字发表的是勒让德。高斯是“能以九霄云外的高度按照某种观点掌握星空和深奥数学的天才“。确实，相比而 言高斯不愧为数学王子

8、，他把最小二乘法推进的更远，更深刻，进而极推进了数理统计的开 展。故本次探究以分析研究高斯的推导研究为主，他是由误差函数推导出这个方法并详尽阐 述了最小二乘法的理论依据。其推导过程如下：设误差密度函数为f（x）,真值为X, 口1，口2为n个独立测定值，因为观测是相互独 立的，因而这些误差出现的概率为：呛）=L（ x; 口1，口2口）= 口吕=口（口 一 口）。要 找出最有希望的误差函数应使L（x）达到极大，髙斯认为X就是x的估计值，并使L（x）取得极 大值。对上式两端取对数得：lnL（x）=为吕_ln （口 口）求导得：普=琨1十亓，记g（x）_M那么有也口（口-x）_ 0求对的偏导数:+ 口

9、 口 _ 0 d口口口而罟_i 口心_ 0,那么有右_1（i工n）,那么对于任意i有-=皿。口。口，即穴_ C（。为常数） 可 得 g ( x ) _ cx + bc 为吕=(口 _ x) + _ 0,以与 殆_( - x)= _D(口 - x) + _,因力乩(口 一 x)_ 0,可推导的b=0,那么有g(x)_积分可得f（x） _ ke；2,由 I-Lf(x) d(x) _1，那么应有C可得k_由那么有f（x）_；2詁口-点此即正态分布N（0, 口2）。这样可知（, 口2口）误差密度函数为(应)_匕普 J口 _x）2，要使此时达到极大值，选取, 口2而使力吕_（口 x）2达到极小值。于是可

10、 得, 口2最小二乘法估计。由以上推证过程可知，髙斯是用逆向思维来思考这个问题，即先承认算术平均值x是所 求的估计，即“如果在一样的环境和一样的管理下对任一个量经过屡次直接观测确定，那么 这些观测的算术平均值是最希望要的值“。这是髙斯大胆采用了人们千百年来的实际经验， 实为髙斯之独创思维。这也正如他所说:数学，要有灵感，必须接触现实世界。4质疑我们信仰科学，但绝不迷信科学，科学精神应持有怀疑的态度。对于如此经典的最小二乘法， 我还是不禁要问一句:他真的是一种完美的理论吗？有疑问总归不是坏事，自以为是不是更 可怕吗？疑问：从最简单的具有线性的最小二乘问题的几何意义上去理解，最小二乘就是要 找一条

11、直线去尽可能的拟合数据点，那好，我们本能的自然想法是：“应该用这样的直线， 它使得每个点到直线的距离之和最小，注意我们此时所理解的距离不就是点到直线的距离 吗？而最小二乘法提供的约束条件却是=： 口 + b)2最小，即考虑的 是要使竖直方向上的偏差口 一 (口口)尽可能的小，这显然与我们的“相当然有出入。 下面就对这一疑问试着做如下探究：经过查阅相关容，我发现这个自然的想法很多人在初学时也都有想过。最后明白原来最 根本的原因是哲学/逻辑上的。我们做回归分析，有自变量x,有因变量y,寻找的是y和 x之间的联系，更确切的说是知道x怎么求y。所以x和y是两个本质不一样的量，一个是 因，一个是果。现在

12、再来看我们的自然想法：“应该用这样的直线，它使得每个点到直线的 距离之和最小，这种方法其实是将因果混为一谈了，试图在(x,y )这个向量空间里找一个 最好的超平面。不说错误吧，这至少是一个不自然的逻辑。最小二乘的逻辑就自然多了。比 如说我有一个因变量y和两个自变量xl,x2,它们在我观测到的样本里都表现为一个个的向 量。最小二乘是在做什么呢？它是在观测到的x1和x2的向量所生成的线性空间中，找一个 离观测到的y向量最近的点。从几何上看，这就是正交投影。有很多人说最小二乘不一定最 好，我们也可以用别的距离。这固然不错，但最小二乘的优越性恰恰表达在它最“自然这 一点上。我们最习惯的空间是有积的欧式

13、空间，如果用其它任何一种距离，这种“自然的 积就没有了，不变性就没有了。不用这个距离，最小方差(BLUE)的性质就没有了。不用这个 距离，相当于是假设噪声服从另外一种分布不再是正态分布。说的高一点，整个现代科 学的方法就是归纳“和演绎“两条。从归纳的角度出发，实际问题中碰到什么分布的噪 声就应该用那种分布；从演绎的角度出发，什么方法最自然“，最漂亮“，最“易于理 解就尽量去用这种方法。欧式距离是最自然最直观的距离，正态分布是最常见最容易处理 的噪声分布，那自然最小二乘就是最优的方法了。5.结语最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家的广泛关注。据不完 全统计，自1805年至

14、1864年的60年间，有关最小二乘法的研究论文达256篇，一些百科 全书包括1837年出版的大不列颠百科全书第七版，亦收入有关方法介绍。现如今，在CNKI 中国知网检索“最小二乘法词条，可查到412191篇有关研究论文;在EMIS(欧洲数学 学会)官网上搜索“Least squares词条，可出现21482篇相关文献，最小二乘法的广泛 应用与研究由此可见一斑。本次探究限于笔者知识的有限性以与时间的紧迫性，仅算是对最 小二乘法做了初步的认识，显然并不能完全参透解释最小二乘法的所有奥秘，学海无涯，后 会有期。参考文献：1. 白欣 贾 徐. 最小二乘法的创立与其思想方法 . 西北大学学报：自然科学版 2006；36(3)：507-ll.2. 邹乐强.最小二乘法原理与其简单应用.科技信息.2010(23):282-3.3. 髙等数学下册/同济大学数学系编.-6版.-:髙等教育，2007.64. 其它：百度词条，知乎