《Adaboost算法流程和证明》由会员分享，可在线阅读，更多相关《Adaboost算法流程和证明（7页珍藏版）》请在装配图网上搜索。
1、Adaboost算法1、Adaboost算法简介Adabboosst算法法是Frreunnd和Schhapiire根根据在线线分配算算法提出出的，他他们详细细分析了了Adaabooost算算法错误误率的上上界，以以及为了了使强分分类器达达到错误误率，算算法所需需要的最最多迭代代次数等等相关问问题。与与Booostiing算算法不同同的是，Adaabooost算算法不需需要预先先知道弱弱学习算算法学习习正确率率的下限限即弱分分类器的的误差，并且最最后得到到的强分分类器的的分类精精度依赖赖于所有有弱分类类器的分分类精度度，这样样可以深深入挖掘掘弱分类类器算法法的能力力。2、Addabooostt算
2、法基基本原理理Adabboosst是一种种迭代算算法，其其核心思思想是针针对同一一个训练练集训练练不同的的分类器器(弱分类类器)，然后后把这些些弱分类类器集合合起来，构成一一个更强强的最终终分类器器(强分类类器)。其算算法本身身是通过过改变数数据分布布来实现现的，它它根据每每次训练练集之中中每个样样本的分分类是否否正确，以及上上次的总总体分类类的准确确率，来来确定每每个样本本的权值值。将修修改过权权值的新新数据集集送给下下层分类类器进行行训练，最后将将每次训训练得到到的分类类器最后后融合起起来，作作为最后后的决策策分类器器。使用用Adaabooost分分类器可可以排除除一些不不必要的的训练数数
3、据特征征，并将将关键放放在关键键的训练练数据上上面。Adabboosst算法法中不同同的训练练集是通通过调整整每个样样本对应应的权重重来实现现的。开开始时，每个样样本对应应的权重重是相同同的，即即其中为为样本个个数，在在此样本本分布下下训练出出一弱分分类器。对于分分类错误误的样本本，加大大其对应应的权重重；而对对于分类类正确的的样本，降低其其权重，这样分分错的样样本就被被突出出出来，从从而得到到一个新新的样本本分布。在新的的样本分分布下，再次对对弱分类类器进行行训练，得到弱弱分类器器。依次次类推，经过次次循环，得到个个弱分类类器，把把这个弱弱分类器器按一定定的权重重叠加(booost)起来，得
4、到最最终想要要的强分分类器。Adabboosst算法法的具体体步骤如如下：设输入的的个训练练样本为为：,其中是输输入的训训练样本本，分别表表示正样样本和负负样本，其中正正样本数数为，负样本本数。，具体体步骤如如下：初始化化每个样样本的权权重；对每个个(为弱分分类器的的个数)：把权重重归一化化为一个个概率分分布对每个个特征，训练一一个弱分分类器计计算对应应所有特特征的弱弱分类器器的加权权错误率率选取最最佳的弱弱分类器器(拥有最最小错误误率)：按照这这个最佳佳弱分类类器，调调整权重重其中表示示被正确确地分类类，表表示被错错误地分分类最后的的强分类类器为：，3、Addaboosst算法法应用随着Ad
5、daboosst算法法的发展展，目前前Adaaboosst算法法广泛的的应用于于人脸检检测、目目标识别别等领域域，其中中有在人人脸识别别、汽车车识别、驾驶员员眨眼识识别的方方面的应应用和研研究。Disccetee-Addabooostt算法1、给定定训练集集：，其其中，表表示的正正确的类类别标签签， ,表示第第副图像像的第个个特征值值2、训练练集上样样本的初初始分布布：3、寻找找弱分类器器()对于每每个样本本中的第第个特征征，可以以得到一一个弱分类器器，即可得得到阈值值和方向向，使得达到到最小，而弱分分类器为为：其中决定定不等式式的方向向,只有有两种情情况。4、将所所有特征征()中中挑选出出一
6、个具具有最小小误差的的弱分类类器。5、对所所有的样样本权重重进行更更新其中是使使得归一一化因子子。6、经过过轮训练练得到个个最优的的弱分类类器，此此时组成成一个强强分类器器；在Adaabooost算算法的弱弱学习中中，将产产生错误误率为的的弱分类类器。如如果每个个错误率率，则强强分类器器的总错错误率一切都从从强分类类器的错错误率开开始首先权值值更新其中然后强分分类器的的错误率率使这个错错误率快快速下降降？为归一化化因子。转化为求求的最小小值了！此时我们们用贪心心算法求求出的一一个局部部最小值值对中的求求导此此时将固固定令导数为为零解出出此时绘制关于于的曲线线图从这幅图图上我们们可以看看出，当当
7、错误率率越小或或者越大大（只要要不在中中点处徘徘徊）的的时候快快速收敛敛到0。越小：说说明错误误越小的的分类器器能快速速识别出出正例。越大: 说明错错误越大大的分类类器也能快速速识别出出正例。既然最大大，只要要我把弱弱分类器器取反，这样错错误率就就是最小小，这样样还是收收敛到00。从以上的的证明，我们知知道只要要是弱分分类器的的错误率率都取最最小，于于是我们们就能组组合得到到一个强强分类器器。接下来我我们就找找出一个弱分分类器错错误率很很小。找找个联合合起来就就得到了了强分类类器！怎么找弱弱分类器器？决策树IID3，C4.5，CC5.00ID3 生成树树用（CCIG类类别属性性增益法法）C4.55 生成成树用（Gaiin RRatiio增益益比率法法）修剪剪树用(Rulle ppostt-prruniing规规则修剪剪)C5.00 生成成树用(Ginni iindeex 基基尼指数数)修剪剪树用(CRAAT回归归树修剪剪)然后给出出Yoaav FFreuund 论文中中给出的的寻找方方法排序令阈值，
Adaboost算法流程和证明
