1. 論文信息

標題：Visual Classification via Description from Large Language Models

作者：Zihao Xu, Hao he, Guang-He Lee, Yuyang Wang, Hao Wang

原文鏈接：http://wanghao.in/paper/ICLR22_GRDA.pdf

代碼鏈接：https://github.com/ZrrSkywalker/PointCLIP

2. 引言

論文首先介紹了一個非常有意思的圖：為什么人們把圖中的物體分類為母雞？因為如果我們人類需要證明我們給出的答案是正確的，你可以給它的喙命名，描述它的羽毛，或者討論我們與母雞聯系在一起的任何其他特征。

人們很容易用文字來描述類別的視覺特征，并利用這些文字描述來輔助感知，用于分類檢測等各種感知任務。然而，生成這樣的模式的語言描述本身就已經非常具有挑戰，很難以完成了，更不用說利用它們進行感知任務，這在機器學習領域還是一個比較大的挑戰。

在成對的圖像-文本數據的大型語料庫上進行訓練視覺語言模型（Vison-Language Model），例如CLIP ，最近取得了巨大成功，在圖像分類等領域取得了巨大的成就。標準的zero-shot分類的程序設定——計算查詢圖像和每個類別單詞的embeddings之間的相似度，然后選擇最高的。這種zero-shot的設定在許多流行的基準測試中顯示了令人印象深刻的性能。

與單詞相比，這種結構化的描述顯然是一個合理的出發點，因為這種基于語義的方法可以依賴于這樣一個事實，即在互聯網環境種，“母雞”這個詞往往出現在母雞的圖片附近。

其實本文主要的insight是，其實我們可以使用語言作為視覺識別的internal representation，這為計算機視覺任務創建了一個可解釋的方案。使用語言使我們能夠靈活地與任何單詞進行比較，而不是只使用一個類別名稱來在多模態信息種進行查詢。如果我們知道應該使用什么特性，我們可以讓VLM檢查這些特性，而不僅僅是依照類名進行查詢。

要找一只母雞，要找它的喙、羽毛以及其他的特征。通過基于這些特性的判斷，我們可以獲得視覺信息種的額外線索，鼓勵查看我們想要使用的特性。在這個過程中，我們可以清楚地了解模型使用什么來做出決策，顯然這是有助于。然而，手工編寫這些特性可能代價高昂，而且不能擴展到大量的類。我們可以通過向另一個模型請求幫助來解決這個問題。

大型語言模型(large language model)，如GPT-3 ，顯示了對各種主題的顯著的世界知識。它們可以被認為是隱性知識庫，以一種可以用自然語言輕松查詢的方式喧鬧地濃縮了互聯網的集體知識。因為人們經常寫東西看起來像什么，這包括視覺描述符的知識。

因此，我們可以簡單地問一個LLM，通過LLM來查詢物體的特征。與從大型語言模型獲得的類描述符相比，我們提供了一種用視覺語言模型替代當前零目標分類范式的方法。這不需要額外的訓練，也不需要推理期間的大量計算開銷。通過構造，這提供了某種程度的內在可解釋性;我們可以知道一張圖片被標記為老虎，因為模型看到的是老虎的條紋，而不是因為它有一個尾巴而把他分類成老虎。

3. 方法

首先來描述下本文定義識別范式和經典的語言識別模型的區別，如上圖，論文提出的方法首先對模型類別的特征進行分解：

where is the set of descriptors for the category and is the log probability that descriptor pertains to the image . Our approach will represent the descriptors also through a natural language sentence.

如何得到這些先驗的特征分配呢？當然不是去根據手工標注，我們可以去問GPT-3。當類別D(c)的字典包含許多與觀察到的圖像x高度匹配的描述符時，該模型s(c, x)將輸出一個高分。圖2說明了這種分類方法。我們使用加法，以便在圖像中可以缺少一些描述符，并通過類的描述符數量進行規范化，以允許不同的類擁有不同數量的描述符。由于描述符是相加的，并且用自然語言表示，因此模型是自然可解釋的。要理解為什么模型預測c類，我們可以簡單地閱讀哪些描述符得分高。

問題的模式，如上所示。而獲取的答案也非常有意思：

可以發現，利用GPT-3來預測的效果還是非常不錯的。描述符通常包括顏色、形狀、物體部件、數量和關系，但也可以用自然語言表達任何東西，這些特征靈活性區分了它們，使每個類別的描述符豐富而微妙。

雖然語言模型的訓練集中沒有圖像，但它們可以在沒有視覺輸入的情況下成功地模仿視覺描述。用于訓練語言模型的語料庫包含有視覺知識的人所寫的描述。這些描述，在規模上聚合，為視覺識別提供了強有力的基礎。

下一步就是GROUNDING DESCRIPTORS， 也就是說利用“{category_name} which (is/has/etc) {descriptor}”這種prompt的方式，來使得CLIP的描述更加細粒度，使得模型的text embedding具有更強的泛化能力。可以發現，這個方法等于只是重新設計了一種獲取prompt的方式。

4. 實驗

論文評估提出的方法在執行圖像分類的能力，同時也為其決策提供解釋。雖然大多數可解釋性方法都在基準性能上做出了妥協，但在表1中演示了我們的方法在此基礎上進行了改進。

與將圖像與類名的embedding進行比較的CLIP相比，論文提出的方法在imagenet1上平均提高了3%以上的性能。ImageNetV2分布移位基準的改進表明，這些改進不是由于對ImageNet分布的過擬合。最后，我們演示了對鳥類細粒度分類的CUB基準的約1-2%的改進，表明該技術在通用識別環境之外具有前景。我們假設，由于GPT-3不能產生特定于鳥類分類的生態位描述符，所以在CUB上的收益減少了。

可以看到可視化還是提供了比較充分的對于類別特征的解釋的。

論文也提供了基于描述符的檢索信息，可以發現也會有非常顯著的性能改進。

5. 結論

論文提出了一種新的基于視覺語言模型的零鏡頭分類框架。作者利用大型語言模型中關于視覺類別的語言知識，為每個類別生成文本描述符，將圖像與這些描述符進行比較，而不是直接估計圖像與類別名稱的相似性。使用GPT-3和CLIP，作者顯示了非常promising的結果。

審核編輯：劉清