行人属性“Weakly-supervised Learning of Mid-level Features for Pedestrian Attribute Recognition and Loca”

云计算 waitig 931℃ 百度已收录 0评论

不同于多标签学习,这篇论文建立了一个弱监督属性定位框架。基于GoogleNet,设计新的检测层提取mid-level属性特征。不需要bbox属性标记,使用基于最大池化的弱监督目标检测技术训练mid-level层。然后,回归这些检测响应梯度,预测属性标签。最后,对检测层的融合激活图聚类,得到属性的位置和形状。融合的权值由属性及其对应的mid-level特征相关程度估计。在PETA和RAP数据集上实验。

基于CNN的方法行人属性识别方法,一般是抠出行人样本,输入到CNN分类器,输出多个行人属性标签。行人属性预测值得研究的点:1)精细尺度的属性,如“戴眼镜”由于尺度小还比较难识别;2)精细尺度属性在卷积池化过程中有可能被忽略;3)属性的位置变化较大,如“包”的位置;4)裁切出的人体不在图像中间。

考虑到上述困难,论文在属性定位框架中进行属性预测,即弱监督的行人属性定位网络,根据mid-level层属性相关特征的检测结果,得到属性标记,而不是直接从整个人体样本中预测。动机来自实际的和抽象的特征与mid-level语义特征相关,如行人是否带包可以先检测是否有包。

但是全监督的目标检测又不现实,论文使用图像层的属性标记指导弱监督学习,跟据弱监督检测层发掘mid-level语义特征。训练得到WPAL网络后,根据检测器的响应定位属性,估计属性和mid-level特征间相关性强度。然后根据mid-level检测器激活图与权值叠加的特征图估计属性的形状。最后,属性的位置根据激活聚类中心估计。

相关研究
弱监督目标检测方法:Is object localization for free?-weakly-supervised learning with convolutional neural networks。

网络结构
网络结构如下图所示:
这里写图片描述
卷积层来自GoogleNet模型, inception4a/output, inception4d/output and inception5b/output三个分支替换到与卷积层及可变金字塔(FSPP)层连接。FSPP层扮演全局最大池化的角色,机制如下图所示:
这里写图片描述

属性定位及形状估计
先确定属性和mid-lvel特征检测bins的相关度,对每个bin,相关度计算算法为:
这里写图片描述

然后属性概率图由加权的激活图估计,权值为归一化的相关度,算法为:
这里写图片描述

实验结果
属性定位的结果:
这里写图片描述
在RAP和PETA数据集上的结果
这里写图片描述


本文由【waitig】发表在等英博客
本文固定链接:行人属性“Weakly-supervised Learning of Mid-level Features for Pedestrian Attribute Recognition and Loca”
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)