图像分类算法与应

《图像分类算法与应》由会员分享，可在线阅读，更多相关《图像分类算法与应（38页珍藏版）》请在装配图网上搜索。

1、图像分类算法与应用研究 目录 研究背景 相关研究工作 已有工作基础 论文主要研究内容 实际意义 按照语义内容进行图像管理/图像浏览 减少人工标注时间(Flickr, Picasa) 辅助图像检索(Google, Baidu, Picsearch) 图像分类的语义层次 James Wang： 1.语义类别（例如照片照片或者剪贴画，室外室外） 2.物体的罗列（人，篮球架，楼） 3.抽象的语义（运动，打篮球） 4.具体的语义（具体的描述一个图像） 场景分类 物体分类 Caltech 101 图像分类 海滩 恐龙 非洲 图像分类的挑战 尺度变化尺度变化 光照变化光照变化 图像分类的挑战 类内差异类内差

2、异 类间差异类间差异 研究现状 图像表示 底层视觉特征表示 语义图像表示 词包模型表示 机器学习算法 多示例学习算法 底层视觉特征表示 Vailaya 6类假日图片 层次分类 贝叶斯分类器 Chang 全局特征，SVM分类器 付岩 3类图片 3种颜色特征对比 SVM分类器 Torralba 收集了8000万张32*32的图片，用最近邻方法进行分类 Szummer和Picard 分类“室内”/“室外” 颜色和纹理特征 K-NN 投票 Serrano SVM分类 SVM输出结果相加 Paek和Chang 图像分割 使用贝叶斯网络 语义图像表示(全局) Spatial Envelope -Oliva

3、和Torralba提出 Naturalness Openness Roughness Expansion Ruggedness 语义图像表示(局部) Vogel和Schiele提出 词包模型 Dense Harris-Laplace Hessian-Laplace Harris Hessian Edge-Laplace Haar-Hessian DoG( Difference of Gaussian) Patch SIFT gradient location and orientation histogram (GLOH) shape context steerable filters mom

4、ent invariants SURF 感兴趣区域检测器感兴趣区域检测器 描述子描述子 State of Art方法 词汇表的构造(K-Means,GMM,VQ,pLSA) 图像相似性的度量(Distance Metric Learning, Kernel Methods(PMK,EMD) ) 多特征融合(Random Forest/Ferns,SVM) 图像空间信息的利用(Spatial Pyramid, ABS-pLSA,TSI-pLSA,LDA(Fei-Fei) ) 感兴趣区域选取(Anna Bosch) 多示例学习 多示例训练集由包(bag)组成，每个包里面包含多个实例(instanc

5、e)。如果一个包为正例，则包中至少有一个实例为正例；如果一个包为反例，则包中所有的实例均为反例。 方法： MaronDiverse Density Andrew Mi-SVM以及MI-SVM Chen DD-SVM以及MILES Qi DD-SVM变种 周志华MIML框架(Multi-Instance Multi-Label) SVM进行图像分类 0, 1 s.t. 21 , min1jbyCbJjjjTjljjTxwwww xx :HX ,xxxxk常用核函数 0 , 2exp,22xxxxk0 , exp ,2xxxxk高斯核（Gaussian RBF）: 0 , exp,xxxxk0 ,

6、 exp ,xxxxk拉普拉斯核（Laplacian RBF）： 0 , , , ,cNdckdxxxx 1 , 1 , ,11,xxxxxxk多项式核（polynomial）: 无限多项式核（infinite polynomials）： Svetlana Lazebnik-Spatial Pyramid Matching Kernel(空间金字塔匹配核空间金字塔匹配核) Spatial Pyramid RBF Gaussian Kernel Spatial Pyramid 2 Kernel 2Di = 1,e x p , 0llllX YXyIH HH i H i 2Di = 1,e x p

7、 , 0llXyllXYllXyHi HiIHHHi HiEvaluation Corel图像库中的10类 Libsvm，5折交叉验证 C= 2-3, 2-1, , 215 =2-15,2-13,25 Spatial Pyramid RBF Gaussian Kernel Spatial Pyramid 2 Kernel 以上两种核的结果都有所提高 1+4的形式最好 自动学习出权重 多分类器融合的图像分类 多分类器融合框架多分类器融合框架 模糊积分 ( )( )ma x mi n ( mi n ( ) ) ,() ) kkkx EE TTe h tg th tg E 0 , 1 m a x m

8、 i n (, ( ) ) ghma x mi n,kk iieh t g A 11gAg t 111iiiiig A g g Ag g Ain 函数g : 2T 0,1叫做g模糊测度，如果它满足如下性质： (I) g()=0; (II) g(T)=1; (III) g(A)g(B), if AB 并且 A, BT (IV) 对于所有的A, BT并且 AB = g(AB) = g(A) + g(B) +g(A)g(B) 对于某一个 -1 模糊积分 训练 传统的Reward-Punishment算法 设置初始gi 对训练样本的分类进行Reward和Punishment 对初始gi依赖，陷入局部最

9、优解 改进 设置多组初始gi 本文选取gi=t/N 结果 特征名 特征长度 描述 CH-RGB 64 4bins R4bins G4bins B CH-HSV 96 32bins H+32bins S+ 32bins V CH-Lab 100 32bins L+32bins a+36bins b CCV 128 4bins R4bins G4bins B2 Edge Histogram 80 PWT 27 Corel图像库中的10类 Libsvm，线性核 C=2-5,2-4,210 5折交叉验证 结果比较 平均精度平均精度 我的方法我的方法 84.66% DD-SVM 81.5% Hist-S

10、VM 66.7%(Chen) 79.8%(Qi) CCV 80.52% MILES 82.6% Qi 88.8% DD-SVM(Qi) 82% “海滩”被误分为“山川” “山川”被误分为“海滩” 经常被误分的图片经常被误分的图片 Cat 0Cat 1Cat 2Cat 3Cat 4Cat 5Cat 6Cat 7Cat 8Cat 90.00.20.40.60.81.0Average precision of each image classImage categories RGB HSV Lab Edge CCV PWT Fusion融合方法与子分类器的精度对照融合方法与子分类器的精度对照 100

11、2003004005000.700.750.800.85Average Classification AccuracyNumber of Training Images Our Method DD-SVM1002003004005000.30.40.50.60.70.80.9Average Classification AccuracyNumber of training images Our Method CH-RGB CH-HSV CH-Lab EH CCV PWT不同训练样本下的精度对照不同训练样本下的精度对照 改进： 自动抛弃性能较差的分类器 主要研究内容，实施方案与可行性论证 组合多

12、分类器框架的研究 最优词汇表构造的研究 最优空间信息进行图像分类的研究 Internet图像挖掘研究 组合多分类器框架的研究 组合分类器框架选择 分类器权重计算 分类器选择 最优词汇表构造的研究 Filter方法 预计方法： 生成一个较大的词汇表(5000-10000) 根据每个词汇的对类别的判别能力控制聚类 最优空间信息进行图像分类的研究 Kernel Methods Gaussian, 2 ,Histogram Intersection 根据训练图像学习出金字塔每个层次的最优权重 Internet图像挖掘研究 现有图像挖掘方法的不足： 训练数据存在噪声 不能很好的突破搜索引擎返回结果数量的限制 解决方案： 查询扩展 多个搜索引擎结果集成 文本分类技术与图像分类技术结合 少量标记样本半监督学习