AlphaPose升級了！上海交大MVIG組(盧策吾團隊)構建了CrowdPose數據集，用來衡量算法在擁擠場景中的性能。同時提出了一個高效的算法來解決擁擠人群中的姿態估計問題，實驗結果遠高于當前最好的算法。

AlphaPose升級了！

擁擠人群場景下的AlphaPose

這個實時多人姿態估計系統，現在可以處理最具挑戰的擁擠人群場景了：

上海交大MVIG組(盧策吾團隊)建了一個新的數據集——CrowdPose，用來衡量算法在擁擠場景中的性能；

同時提出了一個高效的算法來解決擁擠人群中的姿態估計問題：相比OpenPose提升18mAP、相比Mask-RCNN提升8mAP。

論文已被CVPR2019接收。

論文鏈接：

https://arxiv.org/abs/1812.00324

代碼鏈接：

https://github.com/MVIG-SJTU/AlphaPose

CrowdPose——擁擠人群姿態估計數據集

為了衡量人體姿態估計算法的性能，學術界與工業界建立了越來越多的公開數據集，如MPII，MSCOCO和AI Challenger。然而，這些數據集的圖片通常采集自日常的生活場景，缺乏擁擠人群場景的數據。

主流數據集的擁擠場景分布如圖1所示。對于由數據驅動的深度學習方法來說，數據集的分布不均衡，意味著算法性能的不均衡。

圖1 主流公開數據集于CrowdPose數據集的擁擠場景數據分布。三個主流數據集的數據中，非擁擠數據占據了絕大部分比例，而CrowdPose數據集有著均勻的數據分布。

隨著學術界對人體姿態研究的深入，算法追求像素級的精度，簡單場景下的性能已經逐步逼近人類的精度，但在擁擠場景中往往會失效，如圖2所示。

圖2 隨著擁擠程度的加劇，現有開源系統的性能急劇下降。相較于非擁擠的情況，擁擠時算法性能最多下降了20mAP。

針對這樣的情況，上海交大MVIG組的研究者開源了CrowdPose數據集。CrowdPose數據集中的圖片，有著均勻分布的擁擠程度。既可以評估算法在日常非擁擠情況下的表現，也可以評估其在極度擁擠時的性能。

目前，數據集開源了2萬張圖片，評估工具也已經上線。在未來的幾個月時間內，研究者將會不斷擴大數據的規模，開源一個更大的數據集。

實時全局競爭匹配算法

在擁擠人群的場景下，傳統的二步法模型往往會失效。主要原因在于：人群過于密集，重合程度太高，每個人的位置難以用人體檢測框表示。

圖3 人體檢測框難以表達人的位置。

研究者們提出了一個全局競爭匹配算法，減少了姿態估計模型對于人體框的依賴，同時提高了模型對于復雜人體場景的魯棒性，在擁擠場景中的表現超越了現有的方法。

圖4 本研究中的全局競爭匹配算法概覽。模型對于每個檢測到的人體框輸出一系列候選關鍵點。人體實例與關鍵點實例構建成一個稀疏圖模型。通過求解稀疏圖模型的最佳匹配問題，可得到全局最優的人體姿態估計方案，對密集擁擠的場景有很強的魯棒性。

研究者們設計了一個關節點候選損失函數，通過控制模型輸出響應程度不同的多峰值熱度圖，在人體框不準確的情況下，模型盡可能地輸出候選關節點可能的位置。

在得到每個人體框的候選關節點后，通過聚類與鏈接，消除冗余結果的同時，構建出一個人體實例-候選關節的圖模型。該圖模型表征了人體實例與每個關節點之間的連接關系與概率。

借助此模型，人體姿態估計問題可轉化成圖模型中的最佳匹配問題。由于人體姿態問題的特殊，該圖模型具有很強的稀疏性，經過研究者們的分析，優化匹配問題的時間復雜度與傳統的NMS算法相當。

該方法由于建立了一個全局的圖模型，在匹配過程中考慮到了整體的連接方式，因此能很好地改善了二步法中缺乏全局視野的不足。

姿態估計各場景性能大幅提升

在實驗中，研究者們對比了該算法與其他開源系統與算法之間的性能。

在CrowdPose數據集中，比當前最好的算法提升了5.2mAP。除此之外，在極度擁擠的子集中，提升了6.2mAP。相較于OpenPose和Detectron（Mask R-CNN）等姿態估計開源系統，性能提升的同時，運行速度快了2到3倍。

表1 在CrowdPose數據集上的定量對比實驗

表2 三個場景子集中的性能評估與運行速度對比（簡單、一般、擁擠）。

本文的方法分數提升的同時，運行速度也大大增強。

未來方向

論文中，研究者們提出了一種新的競爭匹配模型，以解決擁擠場景的人體姿態檢測問題。接下來，研究者們會優化競爭匹配模型，對其他形式的擁擠檢測問題（如擁擠實例分割）開展進一步研究。