二乘法原理

《二乘法原理》由会员分享，可在线阅读，更多相关《二乘法原理（7页珍藏版）》请在装配图网上搜索。

1、第一节 最小二乘法的基本原理和多项式拟合一最小二乘法的基本原理从整体上考虑近似函数P(x)同所给数据点(X，yi) (i=0,l,m)误差 厂- yi (i=0,1, -,m)的大小，常用的方法有以下三种：一是误 差=p(叮-y. (i=0,1,m)绝对值的最大值，即误差向量Yrr =(厂0，, r的范数；二是误差绝对值的和.，即误差向量r 区r2的1范数;三是误差平方和i0 *的算术平方根，即误差向量r的2 范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相迟2 当于考虑2范数的平方，因此在曲线拟合中常采用误差平方和.0 r2. 0 来度量误差(i=0, 1,m)的整体大小。数据拟

2、合的具体作法是：对给定数据(x.，y.)(i=0,1,，m)，在 取定的函数类中,求p(X) e，使误差r = p(叮-y. (i=0,1,m)的平 方和最小，即艺 r2 艺p(x ) 一 y 1 = min. = . . 0 . 0从几何意义上讲，就是寻求与给定点(X，y.) (i=0,1,m)的距离 平方和为最小的曲线y = p(x)(图6-1)。函数p(x)称为拟合 函数 或最小二乘解，求拟合函数P(x)的方法称为曲线拟合的最小二乘法。在曲线拟合中，函数类可有不同的选取方法.二 多项式拟合假设给定数据点(二，y.) (i=0,1,m)，为所有次数不超过n(n m)的 ( ) 多项式构成的

3、函数类，现求一 Pn (A k =o akX G ，使得I = bp (x )-y =区另a xk -yn iiIk iii=0i=0 k=0当拟合函数为多项式时，称为多项式拟合，满足式(1)的pn(x)称为 最小二乘拟合多项式。特别地，当 n=1 时，称为线性拟合或直线拟合。2= min(1)显然I = b (b a x k - y )2 k iii=0 k=0为a0,，an的多元函数，因此上述问题即为求1 = 1 (a0 问题。由多元函数求极值的必要条件,得dI = 2区(工 a xk y )xj = 0,k i i i, a , a1n)的极值daji=0 k =0j 二 0,1,，n(

4、2)K(K x j+k)aikk =0 i=0(3)是关于a0,a，a1nKm xiKim=0xx2i=bxjy,iii=0的线性方程组j = 0,1,n用矩阵表示为i=0.i=0(3)瓦xnii=0瓦 Xn+1ii=0a 1王1i0a1b0 xyi ii=0 anb xnyiiS=0xnib x 2nii=0bmbmi=0x n+1ii=0(4)式(3)或式(4)称为正规方程组或法方程组。 可以证明，方程组(4)的系数矩阵是 在唯一解。从式(4)中解出ak (k=0,1,， p ( x) = b a x k nkk=0可以证明，式(5)中的Pn(x)满足式(1),迟p (x ) - y 1项

5、式。我们把差，记作-p (x ) - ynii=0由式(2)可得个对称正定矩阵，故存n),从而可得多项式(5)即 pn(x) 为所求的拟合多i称为最小二乘拟合多项式Pn(x)的平方误r|2 = K p (x ) - y 12n iii=0n2 =y2-Iba (迟 xky)2iki ii=0k=0i=0列表如下TRl I19.176.30364.811457.33025.077.80625.001945.00030.179.25906.012385.42536.080.801296.002908.80040.082.351600.003294.00045.183.902034.013783.8

6、9050.085.102500.004255.000245.3565.59325.8320029.445多项式拟合的一般方法可归纳为以下几步：（1） 由已知数据画出函数粗略的图形 散点图，确定拟合多项式的次数n；e、别丰、丄瞥区xj （j = 丄，2n）知区xjy.（j = 0,1,，2n）列表计算.0 .和.0 .；i=0I=0（3）写出正规方程组，求出a0,，an ；写出拟合多项式Pn E = akXk。在实际应用中，n m或n n个相异零点, 须有a0 = aip (x) = X a xk 必有唯一解。定理2设a0, ai，,an是正规方程组(4)的解，则nk=0 k是满足式(1)的最小

7、二乘拟合多项式。证 只需证明，对任意一组数b0br,bn组成的多项式Q (x)=为 b xkk ，恒有k=0即可。区。(x) - yiI n区pn(xi)- yinii=0i=0X|Q (x )-y I -X|p (x )-yn iin iii=0nii=0=SIq (x )-p (x )1 + 2qn in in ii =0i =0(x ) - p (x )p (x ) - y i 0 +b 一 a ) xjj j i i =0 j =01|Xa x k - y k i i k=0-ajji=0ia xk 一 y xj kik=0、因为ak (k=0,1,，n)是正规方程组(4)的解，所以满

8、足式(2)，因此有Xq (x )- y I 一区p (x ) - y I 0n i in i ii=0i=0故pn (x)为最小二乘拟合多项式。*四多项式拟合中克服正规方程组的病态 在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而 且 正规方程组系数矩阵的阶数越高，病态越严重； 拟合节点分布的区间xm 偏离原点越远，病态越严重； =(i=0,1,，m)的数量级相差越大，病态越严重。 为了克服以上缺点，一般采用以下措施： 尽量少作高次拟合多项式，而作不同的分段低次拟合; 不使用原始节点作拟合，将节点分布区间作平移，使新的节点xi关于原点对 称，可大大降低正规方程组的条件数，

9、从而减低病态程度。平移公式为：i = 0,1,，m(9) 对平移后的节点xi (i=0,1,，m),再作压缩或扩张处理:10)(11)x* = px ,i = 0,1,miip = 2(m +1)/ (x )2r其中i=0 , (r是拟合次数) 经过这样调整可以使 xi* 的数量级不太大也不太小， 特别对于等距节点x = x0+ih (i =m)，作式(10)和式(11)两项变换后，其正规方程组的系数矩阵设为A,则对14次多项式拟合，条件数都不太大，都可以得到 满意的结果。变换后的条件数上限表如下：拟合次数1234cond (A)2=19.950.3435 在实际应用中还可以利用正交多项式求拟

10、合多项式。一种方法是构造离散正交 多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两 种方法都使正规方程 组的系数矩阵为对角矩阵，从而避免了正规方程组的病态。 我们只介绍第一种，见第三节。例如 m=19, x =328,h=1, x1=x +ih, i=0,1,，19,即节点分布在328,347, 作二次多项式拟合时 直接用xi构造正规方程组系数矩阵A，计算可得cond (A ) = 2.25 x 1016严重病态，拟合结果完全不能用。2 作平移变换i = 0,1,19一 328+347x = x -ii 2用xi构造正规方程组系数矩阵A1，计算可得cond ( A ) = 4.483868 x101621比cond2(A)降低了 13个数量级，病态显著改善，拟合效果较好。 取压缩因子1 20p =沁 0.14984 f(只)4i=0作压缩变换x: = pxi,1 = 0,1,19用x；构造正规方程组系数矩阵A2，计算可得cond2(A2) = 6.839 又比cond2(A1)降低了 3个数量级，是良态的方程组，拟合效果十分理想。如有必要，在得到的拟合多项式Pn (X ；)中使用原来节点所对应的变量X，可写为x + xQ (x) = p (p - (x - j m)n n 2仍为一个关于X的n次多项式，正是我们要求的拟合多项式。