|
今年ECCV上的一篇名为《Pose Proposal Networks》的论文，作者是日本柯尼卡美能达公司的関井大気（Taiki SEKII），结合了去年CVPR上的YOLO和CMU的OpenPose，创造出的新方法，能够实现高帧数视频中的多人姿态检测。 高帧数，无压力
而其他方法，比如NIPS 2017 的AE（Associative embedding）、ICCV 2017的RMPE（Regional multi-person pose estimation）、CVPR 2017的PAF（Realtime multi-person 2D pose estimation using part affinity fields），都无法实现高帧数尤其是100以上帧数视频的姿态检测。 
在COCO数据集上也不虚，相比谷歌PersonLab能在更高帧数下运行。 
来看下具体数据，在头、肩、肘部位和整体上半身识别中超过了其他方法，整体得分也不虚。 神奇“体位”大冒险另外，常规的姿态检测十分容易出错的“体位”中，该方法也可以规避。 比如从天上跳伞下来这种奇怪的姿势： 
人数过多的拥挤场景： 
还有，两个人重叠的图像。 
注意，右侧站立的女子和她前面在瑜伽垫上的人，完完全全分开了，不会闹出下面这种胳膊腿儿搞错的笑话。 
原理
这是基于ResNet-18的PPN对多人姿势检测的过程： a) 输入图像； b) 从输入图像中检测部分边界框； c) 检测出肢体； d) 区分图中每个人。 
这篇论文的方法是先将图片分割为较小的网格，使用较小的网络对每一幅网格图片进行单次物体检测范例，之后通过区域提议（region proposal）框架将姿态检测重定义为目标检测问题。 之后，使用单次CNN直接检测肢体，通过新颖的概率贪婪解析步骤，生成姿势提议。 区域提案部分被定义为边界框检测（Bounding Box Detections），大小和被检测人身材成比例，并且可以仅使用公共关键点注释进行监督。 整个架构由单个完全CNN构成，具有相对较低分辨率的特征图，并使用专为姿势检测性能设计的损耗函数直接进行端到端优化，此架构称为姿态提议网络（Pose Proposal Network，PPN）。PPN借鉴了YOLO的优点。 传送门论文： http://taikisekii.com/PDF/Sekii_ECCV18.pdf Poster： http://taikisekii.com/PDF/Sekii_ECCV18_pos.pdf | 
发表于 2018-11-15 15:49:10
