來(lái)自密歇根大學(xué)等機(jī)構(gòu)的研究者提出了一個(gè)新穎且全面的數(shù)據(jù)集 ModelNet40-C ，以系統(tǒng)地測(cè)試以及進(jìn)一步提高點(diǎn)云識(shí)別模型對(duì)于失真的穩(wěn)健性。

3D 點(diǎn)云廣泛應(yīng)用于 3D 識(shí)別技術(shù)中。一些特別的應(yīng)用領(lǐng)域往往對(duì) 3D 點(diǎn)云識(shí)別的安全性有更高的要求，如自動(dòng)駕駛、醫(yī)療圖像處理等。學(xué)界目前對(duì)點(diǎn)云安全性的研究集中在對(duì)抗攻擊的穩(wěn)健性。與對(duì)抗性攻擊相比, 自然的失真和擾動(dòng)在現(xiàn)實(shí)世界中更為常見(jiàn)。然而目前還沒(méi)有關(guān)于 3D 點(diǎn)云針對(duì)失真的穩(wěn)健性的系統(tǒng)性研究。

論文地址: https://arxiv.org/abs/2201.12296

項(xiàng)目主頁(yè): https://sites.google.com/umich.edu/modelnet40c

開(kāi)源 Github: https://github.com/jiachens/ModelNet40-C

近日，來(lái)自密歇根大學(xué)等機(jī)構(gòu)的研究者提出了一個(gè)新穎且全面的數(shù)據(jù)集 ModelNet40-C ，以系統(tǒng)地測(cè)試以及進(jìn)一步提高點(diǎn)云識(shí)別模型對(duì)于失真的穩(wěn)健性。ModelNet40-C 包含 185000 個(gè)點(diǎn)云數(shù)據(jù)，它們來(lái)自 15 種不同的點(diǎn)云失真類型，且每個(gè)類型有 5 種不同的嚴(yán)重程度。這些點(diǎn)云失真分為 3 大類：密度 (density) 失真、噪音 (noise) 失真、以及變換 (transformation) 失真。 實(shí)驗(yàn)表明，目前具有代表性的 3D 點(diǎn)云識(shí)別模型（比如：PointNet、PointNet++、DGCNN 以及 PCT）在 ModelNet40-C 上的錯(cuò)誤率比在原本 ModelNet40 數(shù)據(jù)集上的錯(cuò)誤率高出超過(guò) 3 倍，如下圖 1 所示。這證明了點(diǎn)云深度模型框架仍然非常容易受到常見(jiàn)失真的影響。

圖 1. 深度點(diǎn)云識(shí)別代表性模型在 ModelNet40 和 ModelNet40-C 數(shù)據(jù)集上的錯(cuò)誤率。 根據(jù)這一發(fā)現(xiàn)，該研究進(jìn)一步做了大量的測(cè)試去探索不同模型架構(gòu)，數(shù)據(jù)增強(qiáng)，以及自適應(yīng)方法對(duì)于失真穩(wěn)健性的影響。研究者根據(jù)實(shí)驗(yàn)結(jié)果總結(jié)了多個(gè)發(fā)現(xiàn)來(lái)幫助 3D 點(diǎn)云識(shí)別技術(shù)的開(kāi)發(fā)者們?cè)O(shè)計(jì)更穩(wěn)健的模型以及訓(xùn)練方案。例如，研究者發(fā)現(xiàn)基于 Transformer 的點(diǎn)云識(shí)別架構(gòu)在提高模型對(duì)于失真的穩(wěn)健性有很大的優(yōu)勢(shì)；不同類型的數(shù)據(jù)增強(qiáng)策略對(duì)各種類型的失真有不同的優(yōu)勢(shì)；測(cè)試時(shí)自適應(yīng)方法對(duì)一些很嚴(yán)重的失真有很好的穩(wěn)健性，等等。 ModelNet40-C 數(shù)據(jù)集構(gòu)建

圖 2. ModelNet40-C 數(shù)據(jù)集失真類型圖示。 失真穩(wěn)健性在 2D 圖像上已經(jīng)得到廣泛關(guān)注，其中 CIFAR-C 和 ImageNet-C 通過(guò)模擬不同天氣，噪聲，以及模糊來(lái)構(gòu)建失真數(shù)據(jù)集。然而該研究的研究者發(fā)現(xiàn) 3D 點(diǎn)云的失真與 2D 圖像有根本的不同，原因在于點(diǎn)云數(shù)據(jù)結(jié)構(gòu)更加靈活且不規(guī)則，例如，一個(gè)點(diǎn)云內(nèi)點(diǎn)的數(shù)量是可以改變的，同時(shí) 3D 點(diǎn)云位置的改變也很容易影響語(yǔ)義信息。研究者提出 3 點(diǎn)構(gòu)建 ModelNet40-C 的原則：1) 語(yǔ)義不變性、2) 失真切實(shí)性、3) 失真多樣性來(lái)保證數(shù)據(jù)集的質(zhì)量。 ModelNet40-C 的失真分為密度 (density) 失真，噪音 (noise) 失真，以及變換 (transformation) 失真三類。 密度失真包括 “遮擋”，“激光雷達(dá) (LiDAR)”，“局部密度上升”，“局部密度下降”，以及“局部缺失” 5 種，它們模擬了現(xiàn)實(shí)中不同傳感器生成點(diǎn)云密度的不同特征，例如，“遮擋” 模擬了傳感器在掃描 3D 物體時(shí)受角度限制只能生成一部分點(diǎn)云。 噪音失真包括 “均勻分布”，“高斯分布”，“脈沖”，“上采樣”，以及“背景” 噪音，他們模擬現(xiàn)實(shí)中傳感器生成時(shí)以及程序預(yù)處理過(guò)程中不可避免的數(shù)字噪聲與誤差。 變換失真包括“旋轉(zhuǎn)”，“錯(cuò)切”，“自由形變”，“徑向基形變”，以及“反徑向基形變”，前兩種模擬了在處理點(diǎn)云數(shù)據(jù)時(shí)非對(duì)準(zhǔn)狀態(tài)以及動(dòng)態(tài)采集數(shù)據(jù)時(shí)的失真，后三種則代表了 AR/VR 游戲以及生成模型 (GAN) 產(chǎn)出的點(diǎn)云失真。

圖 3. 在 ModelNet40-C 上 6 個(gè)模型的平均混淆矩陣。 研究者闡述了這些失真是點(diǎn)云應(yīng)用中非常常見(jiàn)的，并且保證了生成的數(shù)據(jù)集仍然保持了原有的語(yǔ)義，如圖 2 所示。圖 3 展示了在 ModelNet40-C 上 6 個(gè)模型的平均混淆矩陣，對(duì)角線上的比重依然很高，這同樣交叉驗(yàn)證了 ModelNet40-C 的語(yǔ)義不變性。 ModelNet40-C 上基準(zhǔn)測(cè)試 (Benchmarking) 結(jié)果與分析 在構(gòu)建 ModelNet40-C 之后，該研究進(jìn)行了大批量的基準(zhǔn)測(cè)試，包含不同模型架構(gòu)設(shè)計(jì)，不同數(shù)據(jù)增強(qiáng)方法，以及不同自適應(yīng)方法的實(shí)驗(yàn)設(shè)置。 不同失真以及模型架構(gòu)設(shè)計(jì)對(duì)比

表 1. 在標(biāo)準(zhǔn)訓(xùn)練下不同模型在 ModelNet40-C 上的錯(cuò)誤率。 如表 1 所示，該研究在 PointNet, PointNet++, DGCNN, RSCNN, PCT, 以及 SimpleView 六個(gè)模型上進(jìn)行了基準(zhǔn)測(cè)試。研究者總結(jié)了一些發(fā)現(xiàn): 1) “遮擋”和 “激光雷達(dá)” 給點(diǎn)云識(shí)別模型造成了極高的錯(cuò)誤率。2) 小角度的 “旋轉(zhuǎn)” 仍然會(huì)很大程度影響點(diǎn)云識(shí)別性能。3) “背景”和 “脈沖” 噪聲給大部分模型帶來(lái)了意想不到的挑戰(zhàn)。 研究者進(jìn)而這些發(fā)現(xiàn)也可以反映到模型設(shè)計(jì)上。1) PointNet 對(duì)密度失真較為穩(wěn)健，但是整體上缺表現(xiàn)不佳。這是因?yàn)?PointNet 只編碼全局特征而沒(méi)有局部特征，這種特性一直以來(lái)被認(rèn)為是 PointNet 的主要缺點(diǎn)。但是密度失真是局部特征損失，這反而對(duì) PointNet 的影響有限，但是這種機(jī)制確實(shí)導(dǎo)致 PointNet 對(duì)其他的失真類型非常敏感。研究者建議今后對(duì) PointNet 的使用應(yīng)該考慮應(yīng)用場(chǎng)景。 2) 球查詢 (ball query) 的聚類方法對(duì) “背景” 和“脈沖”噪聲更加穩(wěn)健。這是因?yàn)榍蚓垲愊鄬?duì)于 kNN 聚類限定了最大聚類半徑，這樣的設(shè)計(jì)有助于幫助模型去除相差很遠(yuǎn)的異常值的影響。 3) 基于 Transformer 的點(diǎn)云識(shí)別模型對(duì)變換失真更加穩(wěn)健，這是因?yàn)樽宰⒁饬?(self-attention) 機(jī)制能夠使得模型能夠?qū)W習(xí)到更穩(wěn)健以及全面的全局特征，而且 Transformer 架構(gòu)也實(shí)現(xiàn)了更大的模型容量，使得其對(duì)于全局的形變失真更穩(wěn)健。 不同數(shù)據(jù)增強(qiáng)方法對(duì)比

表 2. 在標(biāo)準(zhǔn)訓(xùn)練下不同模型在 ModelNet40-C 上的錯(cuò)誤率。 如表 2 所示，該研究采用 PointCutMix-R, PointCutMix-K, PointMixup, RSMix, 以及對(duì)抗訓(xùn)練 (Adversarial Training) 作為 5 種數(shù)據(jù)增強(qiáng)的訓(xùn)練方式。研究者發(fā)現(xiàn): 1) 這些數(shù)據(jù)增強(qiáng)的方案雖然對(duì)于干凈數(shù)據(jù)集上對(duì)模型性能的提升有限，但是都顯而易見(jiàn)地提高了模型在點(diǎn)云失真場(chǎng)景下的穩(wěn)健性。2) 沒(méi)有一種數(shù)據(jù)增強(qiáng)方案可以主宰所有的失真類型。 PointCutMix-R 對(duì)于噪音失真的穩(wěn)健性很好因?yàn)樗S機(jī)采樣兩個(gè)不同類別的點(diǎn)云并直接合成，所以生成的點(diǎn)云是兩個(gè)已有點(diǎn)云降采樣的“重疊”，以至于每個(gè)降采樣的點(diǎn)云對(duì)于另一半來(lái)說(shuō)都相當(dāng)于噪音失真。所以這樣的數(shù)據(jù)增強(qiáng)模式可以極大地提高噪音失真的穩(wěn)健性。 PointMixup 對(duì)變換失真的表現(xiàn)較好因?yàn)?PointMixup 是對(duì)兩個(gè)不同類別的點(diǎn)云做最小距離配對(duì)并“插值” 采樣，所以生成的點(diǎn)云的形狀介于兩種種類之間，這種于變換失真中的整體形變接近，所以其對(duì)變換失真更為穩(wěn)健。 RSMix 則對(duì)密度失真穩(wěn)健，雖然 RSMix 整體思路與 PointCutMix 接近，但其嚴(yán)格規(guī)定剛性合成，即兩個(gè)不同類別的點(diǎn)云采樣過(guò)后在 3D 空間仍然是獨(dú)立的，沒(méi)有“疊加”。這樣的合成相當(dāng)于兩個(gè)獨(dú)立的局部缺失的點(diǎn)云，所以其對(duì)密度失真的穩(wěn)健性較好。 不同自適應(yīng)方法對(duì)比

表 3. 在標(biāo)準(zhǔn)訓(xùn)練下不同模型在 ModelNet40-C 上的錯(cuò)誤率。 該研究首次將測(cè)試時(shí)自適應(yīng)方法應(yīng)用到點(diǎn)云識(shí)別的任務(wù)中來(lái)。研究者采用 BN 和 TENT 方法去更新模型的批標(biāo)準(zhǔn)化層 (BatchNorm Layer)的參數(shù)，他們發(fā)現(xiàn): 1) 測(cè)試時(shí)自適應(yīng)方法可以穩(wěn)定地提升模型的穩(wěn)健性，但總體上并沒(méi)有數(shù)據(jù)增強(qiáng)的效果好；2) 測(cè)試自適應(yīng)方法對(duì)一些困難的失真類型效果出乎意料的好。 例如，平均而言，TENT 有助于在“遮擋” (錯(cuò)誤率 = 47.6%)，“激光雷達(dá) (錯(cuò)誤率 = 54.1%)， 和“旋轉(zhuǎn)” (錯(cuò)誤率 = 19.8%) 失真類型下實(shí)現(xiàn)最強(qiáng)的穩(wěn)健性，分別比最佳數(shù)據(jù)增強(qiáng)方法高出 6.7%，1.9%，和 7.9%。這證明了自適應(yīng)方法在提高點(diǎn)云識(shí)別失真穩(wěn)健性的巨大潛力。 研究者最終將數(shù)據(jù)增強(qiáng)中整體表現(xiàn)最好的 PointCutMix-R 與自適應(yīng)方法 TENT 結(jié)合，發(fā)現(xiàn)基于 Transformer 架構(gòu)的 PCT 模型達(dá)到了目前最好的整體失真穩(wěn)健性 (錯(cuò)誤率 = 13.9%)。這一發(fā)現(xiàn)同時(shí)驗(yàn)證了 Transformer 在模型穩(wěn)健性的成功，與之前的研究(Bai, Yutong, et al. ,2021)在 Transformer 對(duì) 2D 圖像的結(jié)論基本吻合。 總結(jié) 該研究提出了一個(gè)新穎并且全面的 3D 點(diǎn)云識(shí)別穩(wěn)健性分析數(shù)據(jù)集 ModelNet40-C。研究者提出并構(gòu)建了了 75 種不同的失真類型和程度來(lái)模擬真實(shí)場(chǎng)景中由于物理限制、傳感器準(zhǔn)確度限制、以及處理過(guò)程中造成的點(diǎn)云失真和損壞。ModelNet40-C 包含 185000 個(gè)不同的點(diǎn)云數(shù)據(jù)。 實(shí)驗(yàn)表明，目前代表性的模型在 ModelNet40-C 上的錯(cuò)誤率比在原本 ModelNet40 數(shù)據(jù)集上的錯(cuò)誤率高出~ 3 倍。該研究通過(guò)大量的基準(zhǔn)測(cè)試展現(xiàn)了不同模型架構(gòu)，不同數(shù)據(jù)增強(qiáng)策略，以及自適應(yīng)方法在 ModelNet40-C 上的性能并總結(jié)了有用的發(fā)現(xiàn)來(lái)幫助 3D 點(diǎn)云社區(qū)設(shè)計(jì)更穩(wěn)健的識(shí)別模型。我們期待著 ModelNet40-C 數(shù)據(jù)集能加速今后更多的點(diǎn)云識(shí)別穩(wěn)健性的研究！

審核編輯 ：李倩