0.筆者個人體會：

這個工作來自于香港科技大學和香港城市大學。我們知道，隨著三維傳感器以及相關掃描技術的進步，三維點云已經成為三維視覺領域內一項十分重要的數據形式。并且隨著深度學習技術的發展，許多經典的點云深度學習處理方法被提出來。但是，現有的大多數方法都關注于點云的特征描述子學習。并且，在稠密的點云數據幀中，如果對所有點云都進行處理，將會帶來巨大的計算和內存壓力。

針對這種問題，提取部分具有代表性的關鍵點則成為一種自然而且有效的策略。但是，什么樣的點可以稱為三維點云中的關鍵點呢？這個問題仍然是一個開放的、沒有明確答案的問題。 本工作受D2-Net啟發，提出了一種新的三維點云關鍵點定義方式，將其與三維點的特征描述子關聯起來，有效的回答了什么是三維點云中的關鍵點，并驗證了該方法檢測到的關鍵點的可重復性。

但是，本方法的不足也十分明顯。正是由于它將關鍵點的檢測定義在三維點云點特征上，因此，在檢測關鍵點時，需要對輸入點云的所有點都提取相應的點特征。這樣的話，即使此方法檢測到的關鍵點可以有效用于后續任務，但此方法本身仍需處理完整點云中的所有點，并不能在關鍵點提取階段就有效的降低計算和內存壓力。

1、論文相關內容介紹：

論文標題：? D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

摘要：

成功的點云配準通常取決于通過有區分性的3D局部特征魯棒地建立稀疏匹配。盡管基于學習的3D特征描述子發展迅速，但很少有人關注3D特征檢測器的學習，更不用說兩個任務的聯合學習。

在本文中，我們將3D全卷積網絡用于 3D點云，并提出了一種新穎實用的學習機制，可以稠密預測每個3D點的檢測分數和描述特征。特別是，我們提出了一種關鍵點選擇策略，該策略克服了3D點云的固有密度變化，并進一步提出了一種由訓練期間的動態特征匹配結果引導的自監督檢測器損失。

最后，我們的方法在3DMatch和KITTI數據集上進行了評估，在室內和室外場景中都取得了最先進的結果，并在ETH數據集上顯示了其強大的泛化能力。在實際使用中，結果表明，通過采用可靠的特征檢測器，采樣較少數量的特征就足以實現準確和快速的點云對齊。

主要貢獻：

1.我們利用基于KPConv的全卷積網絡，并采用聯合學習框架進行3D局部特征檢測和描述，無需構建對偶結構，從而可以進行快速推理。

2. 我們提出了一種新的密度不變關鍵點選擇策略，這是獲得3D點云可重復性高的關鍵點的關鍵。 3. 我們提出了一種自監督檢測器損失，它在訓練期間從動態特征匹配結果中獲取有意義的引導，從而保證了緊密耦合的描述子和檢測器的收斂。

方法介紹：

D2-Net是一種最近提出的一種2D 圖像匹配方法，受其啟發，我們沒有為關鍵點檢測和描述訓練單獨的網絡，而是設計了一個具有雙重作用的單個神經網絡：稠密特征描述符和關鍵點檢測器。

然而，由于點云的不規則性和不同的稀疏性，將D2-Net的思想應用于3D領域并非易事。在下方法，我們將首先描述對不規則 3D點云進行特征描述子提取和和關鍵點檢測的基本步驟，然后解釋我們的方法在3D領域中處理稀疏性變化的策略。



Fig1：（左）D3Feat的網絡架構。每個塊表示一個使用KPConv代替圖像卷積的ResNet塊。除了最后一層之外的所有層都使用Batch Normalization和ReLU。（右）關鍵點檢測。在稠密點特征提取之后，我們通過應用顯著性分數和通道最大分數來計算關鍵點檢測分數。

一、稠密特征描述子提取

為了解決不規則點的卷積問題并更好地捕獲局部幾何信息，KPConv方法被提出來，它使用帶卷積權重的核點來模擬二維卷積中的核像素，然后在原始點云上定義卷積操作。我們采用KPConv作為我們的骨干網絡來執行稠密特征提取操作。下面我們先簡單回顧一下KPConv的方法。 以矩陣形式表示給定的一組點和一組特征，令xi和fi分別表示中的第i個點及其在中相應的特征。定義在核g上的x點的卷積為 其中是x點的半徑鄰域，xi是該鄰域的支撐點。核函數定義為 其中 是核點和支持點之間的相關性函數，是核點 的權重矩陣，K是核點的個數。

我們建議讀者參考KPConv原始論文了解更多詳細信息。 KPConv的原始公式不是對點云密度不變的，因此，我們在以上公式中添加了一個密度歸一化項，它總結了x附近的支持點的數量，以確保卷積是稀疏不變的的：

基于歸一化核點卷積，我們采用帶有跨層連接和殘差塊的類似UNet的結構來構建全卷積網絡，如圖1（左）所示。 與僅支持稀疏特征描述子的基于塊的方法不同，我們的網絡能夠在完卷積設置下執行稠密的特征描述子提取。我們網絡的輸出是二維矩陣形式的稠密特征圖，其中c是特征向量的維度。點的描述子記為， 其中表示二維矩陣的第i行，特征描述子被L2歸一化到單位長度。

二、稠密關鍵點檢測

D2-Net在特征圖的空間和通道維度上的局部最大值，并使用softmax來評估像素的局部最大值以檢測二維圖像關鍵點。由于圖像的規則結構，他們的方法只是選擇相鄰像素作為鄰域。為了將他們的方法擴展到 3D，這種策略可能會被半徑鄰域所取代，以處理點云的非均勻采樣設置。

但是，半徑鄰域中的相鄰點的數量可能會有很大差異。在這種情況下，如果我們簡單地使用softmax來評估空間維度上的局部最大值，那么點較少的局部區域本來就會有更高的分數。為了解決這個問題，我們提出了一個密度不變的顯著性分數來評估某個點與其局部鄰域相比的顯著性。給定稠密特征圖，我們認為為3D響應 的集合： 其中表示二維矩陣的第 k 列。點為關鍵點的原則是 其中是xi的半徑鄰域。這表示 首先選擇最顯著的通道，然后通過它是否是該特定響應圖上其空間局部鄰域的最大值來驗證。在訓練期間，我們通過應用兩個分數來使上述過程可微以使其可訓練，如圖 1（右）所示。

1.密度不變顯著性得分：

該分數旨在評估一個點與其局部鄰域中的其他點相比的顯著性。在 D2-Net中，評估局部最大值的分數定義為xi 然而，這個公式對于稀疏性不是不變的。因為分數是通過總和歸一化的，這使得稀疏區域固有的比稠密區域具有更高的分數。

因此，我們設計了一個密度不變的顯著性分數，如下所示： 在這個公式中，一個點的顯著性分數被計算為其特征與其局部鄰域的平均特征之間的差異。因此，它測量了中心點相對于局部區域中支持點的相對顯著性。此外，使用平均響應代替總和可以防止分數受到鄰域中點數的影響。

2.通道最大得分：

該分數旨在為每個點挑選最顯著的通道： 最后，將兩個分數都考慮到最終的關鍵點檢測得分： 因此，在獲得輸入點云的關鍵點得分圖后，我們選擇得分最高的點作為關鍵點。

三、聯合優化特征描述子提取器和關鍵點檢測器

設計合適的監督信號是聯合優化特征描述子提取器和關鍵點檢測器的關鍵。在本節中，我們將首先描述描述子的度量學習損失，然后從自監督的角度設計檢測器損失。

1.特征描述子提取損失函數

為了優化特征描述子提取網絡，許多工作嘗試使用度量學習策略，如對比損失和三元組損失。我們這里將使用對比損失，因為從我們的實驗中可以發現它可以提供更好的收斂性能。至于采樣策略，我們采用的是hardest in batch策略，使網絡專注于最難的點對。 給定一對部分重疊的點云碎片P和Q，以及一個包括n對對應3D點的集合。假設是一個對應對，對應的兩點的描述子記為和，得分記為和，然后將正樣本對之間的距離定義為它們的描述子之間的歐幾里得距離，即 負樣本對之間的距離被定義為： 其中R是安全半徑，是位于真實對應安全半徑之外的最難負樣本。對比損失定義為 其中是正對的邊界，是負對的邊界。

2.關鍵點檢測器損失函數

為了優化關鍵點檢測器網絡，我們尋求一種損失公式，鼓勵容易匹配的對應點比難以匹配的對應點具有更高的關鍵點檢測分數。D2-Net提出了對三元組邊界損失的擴展，以聯合優化特征描述子提取和關鍵點檢測器：

其中M是三元組邊界。然而，這個損失并沒有為分數項提供明確的引導，并且這個原始損失公式并不能保證在我們的方法收斂。

因此，我們設計了一個損失項來明確引導分數的梯度。從自監督的角度來看，我們使用on-the-fly特征匹配結果來評估每個對應點的判別性，這將引導每個關鍵點的得分的梯度傳播。

如果對應點在當前描述子提取網絡下可以匹配，我們希望其得分更高，反之亦然。具體來說，我們將關鍵點檢測器損失定義為 直觀地說，如果，則表明該對應點可以使用最近鄰搜索正確匹配，并且損失項將鼓勵對應的兩點獲得的分數和更高。相反，如果 ，則對應點的描述子不足以使它們建立對應關系，因此損失將鼓勵降低其得分。








審核編輯：劉清