最小二乘法原理

《最小二乘法原理》由会员分享，可在线阅读，更多相关《最小二乘法原理（3页珍藏版）》请在装配图网上搜索。

1、最小二乘法原理在我们研究两个变量（X, y）之间的相互关系时，通常可以得到一系列成对的数据（xl, yl.x2, y2. xm , ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近, 可以令这条直线方程如（式1-1）。Y 计= a0 + al X （式 l-l）其中：aO、al是任意实数为建立这直线方程就要确定aO和al，应用最小二乘法原理将实测值Yi与利用（式 1-1）计算值（Y计=aO+a1X）的离差（Yi-Y计）的平方和（Yi - Y计）2最小为“优化判据”。令：申=Z（Yi - Y 计）2 （式 1-2） 把（式1-1）代入（式1-2）中得: 申=（Yi - a

2、O - a1 Xi）2 （式 1-3） 当Z（Yi-Y计）平方最小时，可用函数申对aO、a1求偏导数，令这两个偏导数等于零。（式 1-4）（式 1-5）亦即：m a0 + （Xi ） al = Yi （式 1-6）（ZXi ） a0 + （Xi2 ） al = （Xi, Yi） （式 1-7）得到的两个关于aO、a1为未知数的两个方程组，解这两个方程组得出：a0 = （Yi） / m - a1（Xi） / m （式 1-8）al = nXi Yi - （Xi Yi） / nXi2 -（Xi）2 ） （式 1-9）这时把aO、a1代入（式1-1）中，此时的（式1-1）就是我们回归的元线性方程即：

3、数学模 型。在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1, y1. x2, y2.xm,ym）, 为了判断关联式的好坏，可借助相关系数R”，统计量F”，剩余标准偏差，S”进行判断；“R” 越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于O越好。R = XiYi - m （Xi / m）（Yi / m）/ SQRXi2 - m （Xi / m）2Yi2 - m （Yi / m）2 （式 1-1O） *在（式1-1）中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。 最小二乘法公式最小二乘法公式（X-X 平）（Y-Y 平）=（XY-X 平 Y-XY 平+

4、X 平 Y 平）=XY-X 平Y-Y 平X+nX 平 Y 平=XY-nX 平 Y 平-nX 平 Y 平+nX 平 Y 平=XY-nX 平 Y 平（X -X 平）A2=（XA2-2XX 平+nX 平A2）=XA2-2nX 平A2+nX 平A2=XA2-nX 平人2Y=kX+b: k= （XY）平-次平*丫 平）/（XA2-（X 平）人2 ；b=Y 平-kX 平X 平=1/nXi； （XY）平=1/nXiYi编辑本段最小二乘法拟合对给定数据点（Xi，Yi）（i=0,1,., m），在取定的函数类中，求p（x）丘，使误差的平 方和EA2最小，EA2=p（Xi）-YiA2。从几何意义上讲，就是寻求与给

5、定点（Xi，Yi）（i=0,1,.， m）的距离平方和为最小的曲线y=p（x）。函数p（x）称为拟合函数或最小二乘解，求拟合函数 p（x ）的方法称为曲线拟合的最小二乘法。最小二乘法的矩阵形式Ax=b,其中A为nxk的矩阵，x为kx1的列向量，b为nx1的列向量，nk。这个方程 系统称为 Over Determined System，如果 nvk,这个系统就是 Under Determined System。正常来看，这个方程是没有解的，但在数值计算领域，我们通常是计算 min |Ax-b|， 解出其中的X。比较直观的做法是求解AAx=Ab，但通常比较低效。其中一种常见的解法 是对A进行QR分

6、解(A=QR),其中Q是nxk正交矩阵(Orthonormal Matrix)， R是kxk 上三角矩阵(Upper Triangular Matrix)，然后 min IIAx-bll = min IIQRx-bll = min lIRx-Qbll，用 MATLAB 命令 x=R(Q*b)可解得 x。最小二乘法的Matlab实现 一次函数使用 polyfit( x,y,1) 多项式函数使用 polyfit( x,y,n)， n 为次数拟合曲线x=0.5,1.0,1.5,2.0,2.5,3.0， y=1.75,2.45,3.81,4.80,7.00,8.60。解：MATLAB程序如下：x=0.

7、5,1.0,1.5,2.0,2.5,3.0;y=1.75,2.45,3.81,4.80,7.00,8.60;p=polyfit(x,y,2)x1=0.5:0.05:3.0;y1=polyval(p,x1);plot(x,y,*r,x1,y1,-b)计算结果为：p =0.5614 0.8287 1.1560即所得多项式为 y=0.5614x9+0.08287x+1.15560 非线性函数使用 lsqcurvefit(fun,x0,x,y)最小二乘法在交通运输学中的运用 交通发生预测的目的是建立分区产生的交通量与分区土地利用、社会经济特征等变 量之间的定量关系，推算规划年各分区所产生的交通量。因为

8、一次出行有两个端点，所以我 们要分别分析一个区生成的交通和吸引的交通。交通发生预测通常有两种方法：回归分析法 和聚类分析法。回归分析法是根据对因变量与一个或多个自变量的统计分析，建立因变量和自变量 的关系，最简单的情况就是一元回归分析，一般式为：Y=a+pX式中Y是因变量，X是自变量，a和卩是回归系数。若用上述公式预测小区的交通生成，则以下标 i 标记所有变量；如果用它研究分 区交通吸引，则以下标 j 标记所有变量。而运用公式的过程中需要利用最小二乘法来求解，上述公式中的回归系数根据最小 二乘法可得：式中n为分区数，Y是因变量Y的观测值，X同理。最后可得出回归方程为：AAY=a+pX式中的X拔是规划年的自变量值，Y拔是规划年分区交通生成（或吸引）预测值