原提問：

請問有做視覺SLAM基于深度學習閉環檢測的嗎？

TurtleZhong:

相比現在基本都是用深度學習做的吧，只要涉及到場景光照變化大，相機視野變化大等等，傳統的DBoW，VLAD方法確實能力有限，那想必現在大多數都用的是基于深度學習來做閉環檢測的，具體的方法可以參考我前段時間寫的總結：

https://github.com/TurtleZhong/Map-based-Visual-Localization

其實里面列舉了傳統方法和深度學習的方法，當然可能不全，但是歡迎補充，另外覺得有用的話點個關注。

九歌:

俺就是在做深度學習與閉環檢測結合的工作的呀

目前將深度學習應用到閉環檢測中已經很普遍了吧。直接的想法是在bow框架下利用如superpoint、d2、r2d2等深度學習特征代替傳統orb、sift等特征。也有如NetVLAD、CALC等用神經網絡模擬傳統特征提取策略，以獲得更好魯棒性的。也有加入語義信息，如X-view、LoST、CALC2.0等利用圖像語義信息，實現閉環檢測的。

總的來說，如果只是關注閉環檢測中圖像檢索的部分，與深度學習相關的工作還是很多很好的。難點在于要應對閉環檢測中的一些實際挑戰，比如cross-view乃至opposite-view，appearance changes，perceptual aliasing，dynamics，textless這些問題。

害，其實dbow和fabmap從效果和實時性的平衡上來說，不已經超好了嘛

劉斯坦:

搜deep learning feature points matching，文章非常多。

具體結合SLAM的工作，今年剛出的這篇清華的就很不錯，還有代碼：
ivipsourcecode/dxslamgithub.com

基本是一個純工程的工作，很直觀，把各種成熟的深度學習特征點提取和匹配網絡（SuperPoint, D2-Net, HF-Net）的預訓練模型直接拿來用，替換掉ORB-SLAM2里面的相關部分：

王小二:

1、不知道其它大佬的情況，現階段我做的方向就是深度學習和SLAM的結合方向，所以SLAM各個比較關鍵的環節如何使用深度學習來完成，我倒是看過部分文章，比如特征提取，回環檢測，優化等等。但是實際操作過的目前只有特征提取和描述子生成部分。詳情見：https://zhuanlan.zhihu.com/p/214158164zhuanlan.zhihu.com

2、說回到回環檢測這個問題，其實從直觀上來說和圖像檢測，重識別等領域應該是有共通之處的，所以我之前的考慮也是利用圖像檢索的方式來實現回環檢測。

3、說到具體的操作，當時考慮過的方向有：A、使用完整的圖像來完成特征提取；B、圖像切塊或者提前感興趣區域提取特征；C、整體+興趣區域共同提取特征->企圖在查詢速度和精度做平衡

4、提取特征的方法考慮過：A、使用傳統的特征來監督CNN，比如ORB，SIFT，HOG等；B、學習人臉識別，重識別等使用triple loss，margin loss等使用圖片對或者圖片組來訓練

5、說起來，也許可以看看小樣本分類識別的部分思路；細粒度識別分類的一些方案

6、現在已經有的搜圖定位不妨也看看7、步子不要太大，是不是可以考慮CNN+傳統的詞袋模型一起使用？

Howie:

閉環過程使用深度學習中的圖像檢索，能有效的減少由于環境光照 季節更替，視角變化引起的匹配問題。但是需要采集大量的樣本進行訓練，同時考慮網絡的大小和推理速度，以及自身的硬件平臺性能。在一些嵌入式應用中，由深度學習帶來的性能提升 可能需要消耗巨大的資源，此時仍需以傳統算法為主。

實際使用中，若環境可布置如室內環境，建議使用二維碼等人為標志進行回環檢測，兼顧精度和速度。若是室外可變環境，則需要考慮自身的硬件性能，進行傳統算法與深度學習方法的選擇，對于純粹的深度方向，應考慮模型設計優化，通過壓縮量化等手段提升模型速度。

責任編輯：lq