《线性代数课件74向量到子空间的距离最小二乘法课件》由会员分享，可在线阅读，更多相关《线性代数课件74向量到子空间的距离最小二乘法课件（9页珍藏版）》请在装配图网上搜索。
1、线性代数课件7-4向量到子空间的距离最小二乘法第四节第四节 向量到子空间的距离向量到子空间的距离 最小二乘法最小二乘法 在欧氏空间中可以引入向量间的距离概念。在欧氏空间中可以引入向量间的距离概念。定义定义 8 长度长度|称为向量称为向量和和的距离，记的距离，记为为d(,).不难证明距离的三条基本性质：不难证明距离的三条基本性质：（1）d(,)=d(,)；（2）d(,)0 当且仅当当且仅当=时等号时等号成立。成立。（3）d(,)d(,)+d(,)线性代数课件7-4向量到子空间的距离最小二乘法 在中学几何中学过一个点到一个平面（或一在中学几何中学过一个点到一个平面（或一条直线）上所有点的距离以垂线
2、为最短，下面可条直线）上所有点的距离以垂线为最短，下面可以证明一个固定向量和一个子空间中各向量间的以证明一个固定向量和一个子空间中各向量间的距离也以距离也以“垂线最短垂线最短”。先设一个子空间先设一个子空间W,它是由向量它是由向量 1,2,k所生成，即所生成，即W=L(1,2,k).说一个向量说一个向量垂直于子空间垂直于子空间W，就是指向量，就是指向量垂直于垂直于 W 中中任意一个向量。现给定任意一个向量。现给定，设，设是是 W中的向量，中的向量，满足满足 垂直于垂直于 W，则对，则对W中任意向量中任意向量，有有|线性代数课件7-4向量到子空间的距离最小二乘法证明证明 =（）+（）因 W 是子
3、空间，是子空间，W，W，则，则 W，故，故 垂垂直于直于 。W由勾股定理由勾股定理|2+|2=|2故故|这个几何事实可以用来解决一些实际问题。这个几何事实可以用来解决一些实际问题。其中的一个应用就是解决最小二乘法问题。其中的一个应用就是解决最小二乘法问题。线性代数课件7-4向量到子空间的距离最小二乘法最小二乘法问题：线性方程组最小二乘法问题：线性方程组 00022112222212111212111nsnsnnssssbxaxaxabxaxaxabxaxaxa可能无解，即任何一组数可能无解，即任何一组数x1,x2,xs都能使都能使 niisisiibxaxaxa122211).(不等于不等于0
4、。我们设法找。我们设法找 x10,x20,xs0使（使（2）最小，）最小，称为方程组（称为方程组（1）的最小二乘解。这种问题就叫最）的最小二乘解。这种问题就叫最小二乘问题。小二乘问题。（1）（2）线性代数课件7-4向量到子空间的距离最小二乘法令令,.nsnnssaaaaaaaaaA212222111211 nbbbB21,sxxxx21Axxaxaxaysjjnjsjjjsjjj 11211（3）线性代数课件7-4向量到子空间的距离最小二乘法用距离的概念，（用距离的概念，（2）就是）就是|yB|2。由（由（3）nsssnnnaaaxaaaxaaaxy21222122121111.把把A的各列向
5、量分别记为的各列向量分别记为 1,2,s，由它，由它们生成的子空间为们生成的子空间为L(1,2,s)，y 就是其就是其中的向量。中的向量。线性代数课件7-4向量到子空间的距离最小二乘法于是，找于是，找 x 使（使（2）最小，就是在）最小，就是在L(1,2,s)中找到一个向量中找到一个向量 y,使得使得 B 到它的距离比到到它的距离比到该子空间中其他向量的距离都短。该子空间中其他向量的距离都短。设设ssxxxAxy .2211是所求向量，则是所求向量，则AxByBC 必须垂直于子空间必须垂直于子空间L(1,2,s)，从而，从而有有021 ),(.),(),(sCCC 即即00021 CCCTsT
6、T ,.,而而TsTT ,.,21刚好排成矩阵刚好排成矩阵AT，于是有，于是有线性代数课件7-4向量到子空间的距离最小二乘法0 )(AxBACATT或或BAAxATT 这就是最小二乘解所满足的代数方程，它是一个这就是最小二乘解所满足的代数方程，它是一个线性方程组。线性方程组。例例1 设有一组实验数据设有一组实验数据:(1,2),(2,3),(3,5),(4,7)。从数据点的趋势看接近直线，实验者希。从数据点的趋势看接近直线，实验者希望使直线望使直线y=a+bx 最好的拟合数据点，求最佳最好的拟合数据点，求最佳拟合直线。拟合直线。解解 把数据代入把数据代入y=a+bx 得得 753243211111ba记作记作BAx 线性代数课件7-4向量到子空间的距离最小二乘法其最小二乘解为其最小二乘解为BAAAxTT10 )(其中其中 30101044131211143211111AAT 5117753243211111BAT 7100.x则最佳拟合直线为则最佳拟合直线为y=1.7x。从而从而
线性代数课件74向量到子空间的距离最小二乘法课件
