數(shù)據(jù)是現(xiàn)代機(jī)器學(xué)習(xí)應(yīng)用程序中最重要的組成部分，包括自動(dòng)駕駛汽車的感知系統(tǒng)都是依靠數(shù)據(jù)進(jìn)行訓(xùn)練的。目前汽車都配備了許多傳感器，這些傳感器收集信息并輸入到汽車計(jì)算機(jī)，然后信息必須進(jìn)行實(shí)時(shí)處理和注釋，以便汽車了解行駛中道路前方的情況。但是，汽車計(jì)算機(jī)上的算法需要接受有關(guān)如何進(jìn)行分類的訓(xùn)練，所以數(shù)據(jù)標(biāo)注的準(zhǔn)確性變得很重要。以下是Annotell公司在數(shù)據(jù)標(biāo)注上的一些探索。

帶注釋的數(shù)據(jù)至關(guān)重要，它有兩個(gè)目的：在汽車上的計(jì)算機(jī)上訓(xùn)練算法以解釋收集的信息，并驗(yàn)證計(jì)算機(jī)確實(shí)已學(xué)會(huì)正確解釋收集的信息。由于注釋數(shù)據(jù)用于這兩個(gè)關(guān)鍵目的，因此注釋的質(zhì)量至關(guān)重要。最終，低質(zhì)量的注釋可能會(huì)導(dǎo)致汽車誤解道路上正在發(fā)生的事情。

注釋數(shù)據(jù)的過(guò)程始終包括一些人為的決定，第一個(gè)挑戰(zhàn)就是讓人們同意對(duì)記錄的數(shù)據(jù)進(jìn)行正確的注釋，而創(chuàng)建這樣的注釋準(zhǔn)則有時(shí)并不像人們想象的那么容易。往往需要有效設(shè)計(jì)注釋準(zhǔn)則以提高質(zhì)量方面具有豐富的經(jīng)驗(yàn)。第二個(gè)挑戰(zhàn)是在指南的指導(dǎo)下按比例執(zhí)行注釋。

如何判斷數(shù)據(jù)集的有效性？

量化注釋質(zhì)量的一種方法是注釋數(shù)據(jù)集的精度和召回率。考慮一下標(biāo)注的類型，其中攝像機(jī)圖像中的一個(gè)對(duì)象（如接近的車輛）由一個(gè)邊界框標(biāo)注。在對(duì)此類數(shù)據(jù)集的質(zhì)量進(jìn)行推理時(shí)，有兩個(gè)重要的問(wèn)題（i）感興趣的對(duì)象是否已由邊界框正確標(biāo)注，以及（ii）邊界框是否實(shí)際上包含感興趣的對(duì)象。

上面示意圖中出現(xiàn)了錯(cuò)誤標(biāo)注。而在完美注釋的數(shù)據(jù)集中，以上兩個(gè)錯(cuò)誤均不存在。因此，定義質(zhì)量的一種方法是計(jì)算這些錯(cuò)誤在帶注釋的數(shù)據(jù)集中出現(xiàn)的程度。例如計(jì)算

實(shí)際表示對(duì)象的包圍盒的比率。這稱為精度。理想情況下，精度為1。用邊界框正確注釋的對(duì)象的比率。這就是所謂的召回。理想情況下，召回率為1。

但是，計(jì)算數(shù)據(jù)集的精度和召回率還需要對(duì)整個(gè)數(shù)據(jù)集中的每個(gè)幀進(jìn)行人工批判性檢查，這可能與注釋過(guò)程本身一樣昂貴！為了在計(jì)算精度和召回率時(shí)獲得效率，因此Annotell團(tuán)隊(duì)依靠統(tǒng)計(jì)數(shù)據(jù)來(lái)推斷精度和召回率。僅對(duì)所有注釋的統(tǒng)計(jì)選擇良好的子集進(jìn)行人工批判性審查，并使用概率論得出有關(guān)整個(gè)數(shù)據(jù)集的結(jié)論。

更詳細(xì)地講，他們使用貝葉斯方法來(lái)計(jì)算后驗(yàn)分布，以提高精度并召回整個(gè)數(shù)據(jù)集，這取決于已經(jīng)進(jìn)行了嚴(yán)格審查的注釋的子樣本。它不僅提供了精確度和召回率的估計(jì)，而且還量化了這些估計(jì)中的不確定性。例如，我們可以計(jì)算所謂的95％可信度下限，這意味著可以確定95％的精度或召回率不低于此閾值。

Annotell公司提供了一種具有成本效益的工具，用于根據(jù)精度和召回級(jí)別以及對(duì)級(jí)別的確定性來(lái)衡量注釋的質(zhì)量。

責(zé)任編輯：xj