MaskRCNN原理详解

Mask RCNN12/7/20222 Faster RCNNFaster R-CNN可以简单地看做“区域生成网络RPNs+Fast R-CNN”的系统，用区域生成网络代替Fast R-CNN中的Selective Search方法。Faster R-CNN这篇论文着重解决了这个系统中的三个问题：1.如何设计区域生成网络；2.如何训练区域生成网络；3.如何让区域生成网络和Fast RCNN网络共享特征提取网络。在整个Faster R-CNN算法中，有三种尺度：1.原图尺度：原始输入的大小。不受任何限制，不影响性能。2.归一化尺度：输入特征提取网络的大小，在测试时设置，源码中opts.test_scale=600。anchor在这个尺度上设定。这个参数和anchor的相对大小决定了想要检测的目标范围。3.网络输入尺度：输入特征检测网络的大小，在训练时设置，源码中为224*2243 Faster RCNN1：向CNN网络【如VGG-16】输入任意大小图片:2：经过CNN网络前向传播至最后共享的卷积层，一方面得到供RPN网络输入的特征图，另一方面继续前向传播至特有卷积层，产生更高维特征图；3：供RPN网络输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制【阈值为0.7】，输出其Top-N【文中为300】得分的区域建议给RoI池化层；4：第2步得到的高维特征图和第3步输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；5：第4步得到的区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的bounding-box。4 RPNRPN的核心思想是使用CNN卷积神经网络直接产生Region Proposal，使用的方法本质上就是滑动窗口（只需在最后的卷积层上滑动一遍），因为anchor机制和边框回归可以得到多尺度多长宽比的Region Proposal。RPN网络也是全卷积网络（FCN，fully-convolutional network），可以针对生成检测建议框的任务端到端地训练，能够同时预测出object的边界和分数。只是在CNN上额外增加了2个卷积层（全卷积层cls和reg）5 AnchorsRPN：训练样本考察训练集中的每张图像：a.对每个标定的真值候选区域，与其重叠比例最大的anchor记为前景样本 b.对a)剩余的anchor，如果其与某个标定重叠比例大于0.7，记为前景样本；如果其与任意一个标定的重叠比例都小于0.3，记为背景样本 c.对a),b)剩余的anchor，弃去不用。d.跨越图像边界的anchor弃去不用代价函数同时最小化两种代价：a.分类误差 b.前景样本的窗口位置偏差 6 Roi max poolingroi_pool层将每个候选区域均匀分成MN块，对每块进行max pooling。将特征图上大小不一的候选区域转变为大小统一的数据，送入下一层。对于roi max pooling，一个输入节点可能和多个输出节点相连。7 Mask RCNN其中 黑色部分为原来的 Faster-RCNN，红色部分为在 Faster网络上的修改：1）将 Roi Pooling 层替换成了 RoiAlign；2）添加并列的 FCN 层（mask 层）；Mask-RCNN 的几个特点1）在边框识别的基础上添加分支网络，用于 语义Mask 识别；2）训练简单，相对于 Faster 仅增加一个小的 Overhead，可以跑到 5FPS；3）可以方便的扩展到其他任务，比如人的姿态估计 等；4）不借助 Trick，在每个任务上，效果优于目前所有的 single-model entries；8 Mask RCNNMask-RCNN 技术要点 通过 ResNeXt-101+FPN 用作特征提取网络，达到 state-of-the-art 的效果。采用 ROIAlign 替代 RoiPooling（改进池化操作）。引入了一个插值过程，先通过双线性插值到14*14，再 pooling到7*7，很大程度上解决了仅通过 Pooling 直接采样带来的 Misalignment 对齐问题。虽然 Misalignment 在分类问题上影响并不大，但在 Pixel 级别的 Mask 上会存在较大误差。结果对比能够看到 ROIAlign 带来较大的改进，Stride 越大改进越明显。每个 ROIAlign 对应 K*m2 维度的输出。K 对应类别个数，即输出 K 个mask，m对应 池化分辨率。Loss 函数定义：Lmask(Cls_k)=Sigmoid(Cls_k)，平均二值交叉熵（average binary cross-entropy）Loss，通过逐像素的 Sigmoid 计算得到。9 双线性插值THANK YOU