摘要

常見的消費(fèi)級RGB-D相機(jī)具有粗略的內(nèi)參和外參校準(zhǔn)數(shù)據(jù)的，通常無法滿足許多機(jī)器人應(yīng)用所需的精度要求。我們的校準(zhǔn)方法基于一種新穎的雙分量測量誤差模型，該模型統(tǒng)一了基于不同技術(shù)RGB-D相機(jī)的誤差源，如結(jié)構(gòu)光3D相機(jī)和飛行時間相機(jī)，提出的的標(biāo)定模型使用兩種不同的參數(shù)實(shí)現(xiàn)對圖像的矯正，這兩種圖通過控制函數(shù)的線性組合提供校準(zhǔn)讀數(shù)，非線性優(yōu)化算法在單個優(yōu)化步驟中細(xì)化相機(jī)深度傳感器剛性位移以及上述參數(shù)，確保結(jié)果高度可靠。這個庫的依賴項有Eigen，PCL，OpenCV，Ceres Solver。

主要貢獻(xiàn)

本文的主要貢獻(xiàn)如下：

一個通用的、可實(shí)現(xiàn)的測量誤差模型，該模型以統(tǒng)一的方式很好地描述了不同深度傳感器類型的誤差。

一種空間和參數(shù)不畸變圖像，以緊湊有效的方式模擬結(jié)構(gòu)光深度傳感器的畸變模型。

一種新的優(yōu)化框架，在估計攝像機(jī)深度傳感器剛性位移以及描述深度測量系統(tǒng)誤差的參數(shù)模型。

提出方法的開源實(shí)現(xiàn)，集成在ROS（機(jī)器人操作系統(tǒng)）框架內(nèi)。

主要內(nèi)容

該方法提出了一種基于對極幾何和光束平面約束的聯(lián)合優(yōu)化框架，用于同時估計RGB-D相機(jī)的內(nèi)參和外參。該方法在標(biāo)定過程中使用了多個視角的圖像對和對應(yīng)的深度圖，并通過最小化重投影誤差來優(yōu)化相機(jī)的內(nèi)外參。同時，為了增強(qiáng)魯棒性，該方法還引入了離群值剔除和稀疏性約束，以處理不準(zhǔn)確的匹配和噪聲。



圖1 標(biāo)定算法流程

實(shí)驗結(jié)果表明，該方法在各種實(shí)際場景和數(shù)據(jù)集上都能夠獲得準(zhǔn)確而穩(wěn)健的內(nèi)參和外參標(biāo)定結(jié)果。與傳統(tǒng)方法相比，該方法在標(biāo)定精度和魯棒性方面都有顯著的提升。此外，該方法還能夠處理部分遮擋和異常情況，具有較強(qiáng)的魯棒性和適應(yīng)性。



圖2 四個傳感器的平面誤差，對于SL傳感器，所提出的方法能夠顯著減小測量點(diǎn)與最佳擬合數(shù)據(jù)的平面之間的距離。對于Kinect 2傳感器，差異受到隨距離增加而出現(xiàn)的隨機(jī)噪聲的限制。

不同距離的一面墻的點(diǎn)云矯正后的結(jié)果

校

準(zhǔn)后的RGB圖與深度圖配準(zhǔn)與使用默認(rèn)校準(zhǔn)參數(shù)生成RGB圖與深度圖配準(zhǔn)結(jié)果

對三個經(jīng)過測試的SL深度傳感器和Kinect 2 ToF相機(jī)的全局誤差進(jìn)行了實(shí)驗，說明了原始點(diǎn)云的誤差（Original），去畸變步驟后的誤差（Undistorted），以及在去畸變和全局誤差校正步驟后的誤差（Final）。

對于三個SL傳感器，為了進(jìn)一步評估所提出方法的有效性，在（a）中使用設(shè)備校準(zhǔn)了深度傳感器，而在（b）中我們使用了高分辨率相機(jī)。

總結(jié)

本文提出了一種通用RGB-D傳感器標(biāo)定的新方法，開源的校準(zhǔn)程序僅要求用戶在最小結(jié)構(gòu)的環(huán)境中收集數(shù)據(jù)，并在輸出中提供傳感器的內(nèi)參和外參數(shù)據(jù)，通過兩個不同的分量，一個畸變誤差和一個全局系統(tǒng)誤差來概括深度傳感器誤差，畸變誤差使用每像素參數(shù)無畸變圖建模。在算法的第一階段進(jìn)行估計，在算法的第二階段，在魯棒優(yōu)化框架內(nèi)，估計深度系統(tǒng)誤差以及攝像機(jī)深度傳感器對準(zhǔn)，文章用幾個傳感器進(jìn)行了詳盡的實(shí)驗，結(jié)果表明，該方法提供了高度精確的結(jié)果，優(yōu)于其他最先進(jìn)的方法。

審核編輯：劉清