近似误差与估计误差

《近似误差与估计误差》由会员分享，可在线阅读，更多相关《近似误差与估计误差（1页珍藏版）》请在装配图网上搜索。

1、近似误差与估计误差统计学习方法中说：k值越小，学习的近似误差（approximationerror）越小，估计误差（estimationerror）越大，反之则相反近似误差：可以理解为对现有训练集的训练误差。估计误差：可以理解为对测试集的测试误差。*近似误差关注训练集，如果近似误差小了会出现过拟合的现象，对现有的训练集能有很好的预测，但是对未知的测试样本将会出现较大偏差的预测。模型本身不是最接近最佳模型。近似误差其实可以理解为模型估计值与实际值之间的差距。估计误差其实可以理解为模型的估计系数与实际系数之间的差距。在这个k临近法中其实设定的k值越小，得出的模型是越复杂的，因为k值越小会导致特征空

2、间被划分成更多的子空间（可以理解为模型的项越多）。而k值越大得到的模型其实是越简单的-所以当k值越小，对于训练集的预测更加精确，近似误差会越小（因为你选择了更加复杂的模型去预测训练集）。当k值越大，对于训练集的预测则不会那么准确，所以近似误差会越大（因为你选择了更加简单的模型去预测）。而另一方面，由于设定了比较小的k值，模型比较复杂就会产生过度拟合（overfitting）的问题。近似误差，更关注于“训练”。最小化近似误差，即为使估计值尽量接近真实值，但是这个接近只是对训练样本（当前问题）而言，模型本身并不是最接近真实分布。换一组样本，可能就不近似了。这种只管眼前不顾未来预测的行为，即为过拟合。估计误差，更关注于“测试”、“泛化”。最小化估计误差，即为使估计系数尽量接近真实系数，但是此时对训练样本（当前问题）得到的估计值不一定是最接近真实值的估计值；但是对模型本身来说，它能适应更多的问题（测试样本）