導(dǎo)讀

模型集成是組合多個(gè)模型的預(yù)測(cè)以提高系統(tǒng)整體性能的過(guò)程。這可以通過(guò)對(duì)多個(gè)模型的預(yù)測(cè)求平均值，或使用更復(fù)雜的方法（如加權(quán)框融合 （WBF））來(lái)組合預(yù)測(cè)來(lái)完成。集成方法可以通過(guò)減少過(guò)擬合的影響并提高系統(tǒng)的魯棒性來(lái)顯著提高目標(biāo)檢測(cè)系統(tǒng)的性能。

測(cè)試時(shí)增強(qiáng) （TTA） 是另一種用于提高目標(biāo)檢測(cè)系統(tǒng)性能的技術(shù)。它在測(cè)試期間將各種數(shù)據(jù)增強(qiáng)技術(shù)（例如旋轉(zhuǎn)、縮放和翻轉(zhuǎn)）應(yīng)用于輸入圖像。這可以通過(guò)使系統(tǒng)對(duì)輸入數(shù)據(jù)的微小變化更加不變來(lái)幫助提高系統(tǒng)的魯棒性。TTA還可以通過(guò)提供額外的數(shù)據(jù)供檢測(cè)器學(xué)習(xí)來(lái)幫助提高系統(tǒng)的性能。

非極大值抑制 (NMS) 是一種后處理技術(shù)，用于去除目標(biāo)檢測(cè)器生成的重疊框。它常用于計(jì)算機(jī)視覺(jué)中的目標(biāo)檢測(cè)任務(wù)，例如人臉檢測(cè)、目標(biāo)跟蹤以及圖像和視頻中的目標(biāo)檢測(cè)。

NMS 背后的基本思想是選擇置信度得分最高的框，然后刪除與其顯著重疊的其他框。重復(fù)此過(guò)程，直到考慮了所有框。這有助于減少目標(biāo)檢測(cè)中的誤報(bào)數(shù)量，因?yàn)槟繕?biāo)檢測(cè)器通常會(huì)生成對(duì)同一目標(biāo)的多次檢測(cè)。

計(jì)算兩個(gè)邊界框之間重疊的最常見(jiàn)方法是使用交并比 (IoU) 指標(biāo)。

IoU(A,B) = (A ∩ B) / (A ∪ B)

其中 A 和 B 是邊界框的面積，A ∩ B 是它們相交的面積。通常，為 IoU 度量設(shè)置一個(gè)閾值，任何 IoU 大于該閾值的邊界框都被認(rèn)為是重復(fù)檢測(cè)并被刪除。

加權(quán)框融合（WBF）是一種提高目標(biāo)檢測(cè)系統(tǒng)性能的強(qiáng)大技術(shù)。它是一種將多個(gè)邊界框或感興趣區(qū)域 (ROI) 的結(jié)果組合成一個(gè)更準(zhǔn)確、更穩(wěn)定的結(jié)果的方法。當(dāng)使用多個(gè)模型或算法來(lái)檢測(cè)圖像或視頻中的目標(biāo)并且需要組合結(jié)果以提高整體性能時(shí)，該技術(shù)特別有用。

從本質(zhì)上講，WBF 是一種通過(guò)根據(jù)各種標(biāo)準(zhǔn)為每個(gè)邊界框分配權(quán)重來(lái)組合多個(gè)目標(biāo)檢測(cè)器結(jié)果的方法。然后使用這些權(quán)重將邊界框組合成一個(gè)更穩(wěn)健的結(jié)果。

WBF算法的工作步驟如下：

1. 每個(gè)模型的每個(gè)預(yù)測(cè)框（或通過(guò) TTA 獲得的預(yù)測(cè)）都會(huì)添加到單個(gè)列表 B 中，然后按置信度分?jǐn)?shù) C 的降序排序。
2. 分別為框組和融合框?qū)嵗碌目樟斜?L 和 F。因此，列表L中的每個(gè)元素都是由于重疊而形成的一組框，而F中的每個(gè)位置僅包含一個(gè)框，即融合框。
3. 在一個(gè)循環(huán)中迭代 B 中的預(yù)測(cè)框，并檢查列表 F 中的匹配框（IoU > THR）。
4. 如果未找到匹配項(xiàng)，則將 B 中的框添加到列表 L 和 F 的末尾作為新條目；繼續(xù)進(jìn)行 B 中的下一個(gè)框。
5. 如果找到匹配，則將此框添加到列表L中與F中的匹配框?qū)?yīng)的位置處。
6. 使用框組 L[pos]中的所有內(nèi)容重新計(jì)算 F[pos]中的框坐標(biāo)和置信度得分。將置信度得分設(shè)置為 L[pos]中所有框的平均置信度。融合框的坐標(biāo)是形成它的框的坐標(biāo)的加權(quán)和，其中權(quán)重是對(duì)應(yīng)框的置信度分?jǐn)?shù)。最終 ROI = Σ (權(quán)重 i * ROIi) / Σ 權(quán)重 i。其中 ROIi 是第 i 個(gè)邊界框，weighti 是分配給該邊界框的權(quán)重，并且對(duì)正在考慮進(jìn)行融合的所有邊界框進(jìn)行求和。最終的 ROI 是計(jì)算得出的組合邊界框。
7. 最后，重新調(diào)整 F 列表中的置信度分?jǐn)?shù)：將其乘以組中的框數(shù)（定義為下面的 T），然后除以模型數(shù) N。如果組中的框數(shù)量較少，則可能意味著只有少數(shù)模型可以預(yù)測(cè)它。因此，我們需要降低此類(lèi)情況的置信度分?jǐn)?shù)。

WBF 可以成為提高目標(biāo)檢測(cè)系統(tǒng)性能的強(qiáng)大工具，并且越來(lái)越多地被廣泛應(yīng)用于自動(dòng)駕駛汽車(chē)、監(jiān)控系統(tǒng)和計(jì)算機(jī)視覺(jué)的許多其他領(lǐng)域。通過(guò)集成WBF技術(shù)，目標(biāo)檢測(cè)系統(tǒng)可以變得更加魯棒和準(zhǔn)確，并且即使在存在噪聲和遮擋的情況下也可以表現(xiàn)得更好。

另一方面，WBF 是一種用于組合多個(gè)邊界框（或感興趣區(qū)域）的技術(shù)，以產(chǎn)生更準(zhǔn)確和穩(wěn)定的結(jié)果。它通常用于使用多個(gè)模型或算法來(lái)檢測(cè)圖像或視頻中的對(duì)象，并且需要組合結(jié)果以提高整體性能的情況。WBF 的工作原理是根據(jù)檢測(cè)置信度、與其他邊界框的重疊或其他標(biāo)準(zhǔn)等因素為每個(gè)邊界框分配權(quán)重。然后使用這些權(quán)重將邊界框組合成一個(gè)更穩(wěn)健的結(jié)果。

在上表中我們看到作者還提供了通過(guò) TTA 組合預(yù)測(cè)的實(shí)驗(yàn)。他們使用在 COCO 數(shù)據(jù)集上訓(xùn)練的 EfficientNetB7 模型。對(duì)于 TTA，他們只采用水平翻轉(zhuǎn)。同樣，我們看到 WBF 的性能明顯優(yōu)于 NMS、Soft-NMS 和 NMW 等其他方法。

• 魯棒性：物體檢測(cè)器可能會(huì)受到雜波、遮擋和背景噪聲等因素的影響。WBF可以通過(guò)結(jié)合多個(gè)檢測(cè)器的結(jié)果來(lái)幫助提高物體檢測(cè)系統(tǒng)的魯棒性，從而可以減少這些因素的影響。
• 準(zhǔn)確性：WBF 可以通過(guò)組合同一物體的多次檢測(cè)來(lái)幫助提高物體檢測(cè)系統(tǒng)的準(zhǔn)確性。這在圖像或視頻中目標(biāo)部分被遮擋或僅部分可見(jiàn)的情況下特別有用。
• 穩(wěn)定性：WBF 可以通過(guò)減少誤報(bào)和漏報(bào)的影響來(lái)幫助提高目標(biāo)檢測(cè)系統(tǒng)的穩(wěn)定性。這在感興趣的物體很小或難以檢測(cè)的情況下特別有用。

• 靈活性：WBF可以與非極大值抑制（NMS）等其他技術(shù)結(jié)合使用，以進(jìn)一步提高目標(biāo)檢測(cè)系統(tǒng)的性能。

END

（添加請(qǐng)備注公司名和職稱(chēng)）

Imagination Technologies是一家總部位于英國(guó)的公司，致力于研發(fā)芯片和軟件知識(shí)產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車(chē)、家庭和工作 場(chǎng)所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車(chē)電子、圖形圖像開(kāi)發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！