1. 寫在前面

今天筆者為大家推薦一篇最新的開源工作SuperCluster，實現了大型三維點云的全景分割，可以在一次推理中處理包含數百萬個點和數千個對象的場景。在僅有209k個參數的情況下，SuperCluster比SOTA方法小30多倍，訓練速度快15倍。

下面一起來閱讀一下這項工作

2. 摘要

通過將該任務重新定義為可擴展的圖聚類問題，我們介紹了一種高效的方法用于大型三維點云的全景分割。該方法可以僅使用局部輔助任務進行訓練，從而省去了訓練過程中資源密集型的實例匹配步驟。此外，我們的公式可以很容易地適應超點范式，從而進一步提高其效率。這使得我們的模型可以在一次推理中處理包含數百萬個點和數千個對象的場景。我們的方法，稱為SuperCluster，在兩個室內掃描數據集上取得了最新的全景分割性能：S3DIS Area 5為50.1 PQ ( + 7.8 )，ScanNetV2為58.7 PQ ( + 25.2 )。我們還為兩個大規模移動建圖基準：KITTI - 360和DALES設置了第一個最先進的基準。在僅有209k個參數的情況下，我們的模型比最好的競爭方法小30多倍，訓練速度快15倍。

3. 效果展示

S3DIS Area 5的大規模全景分割結果，共有9.2 M個點( 78M預采樣)和1863個真實"物"對象。SuperCluster可以在3.3秒內在單塊V100 - 32GB GPU上一次推理處理如此大的掃描，并達到50.1的PQ值。

四個數據集的全景預測結果。

4. 具體原理是什么？

SuperCluster對一個包含兩個物體（椅子和沙發）的簡化場景的操作順序：子圖( a )展示了第一階段，其中點云被分割成具有簡單幾何形狀的連通超點。在子圖( b )中，預測每個超點的語義類分布。在子圖( c )中，預測每一對相鄰超點的對象一致性，表明它們屬于同一個對象的可能性。子圖( d )展示了一個圖聚類問題的輸出，該問題在對象之間的轉換處切割邊的同時，合并了具有兼容類分布和對象一致性的超點。由此產生的超點簇定義了全景3D分割的實例。

超點對象Agreement：對每一對相鄰的超點( s , t)計算一個對象一致性分數。這個值是由s和t以及它們的多數對象obj ( t )和obj ( s )之間的平均重疊率定義。

5. 和其他SOTA方法的對比

S3DIS Area 5上SOTA語義分割方法的語義( SS )和全景分割結果，提供了兩個全景度量，將所有類別視為"事物" ( PS -- no "stuff")，將墻壁、天花板和地板視為"物品" ( PS )。

6. 總結

這篇文章引入了SuperCluster，一種用于大規模點云的三維全景分割的新方法。作者將這個任務設計為可擴展的圖聚類問題，繞過了當前全景分割方法中的一些計算密集型步驟。SuperCluster在S3DIS，ScanNet，KITTI - 360和DALES在內的多個基準測試集上達到了最先進的性能，同時顯著地更小，可擴展，更容易訓練。

審核編輯：黃飛