GAN的神奇能力有目共睹。最近，朱俊彥等人在論文中提出了一款神器——GANpaint，竟然簡單幾筆就能成畫。這個神來之“工具”的驚艷效果，引來不少人的驚嘆。

有了這款神器，畫畫不能再簡單了！

自從GAN誕生以來，一次一次創造著奇跡：填充紋理、變臉易容。但這一次，這款名叫GANpaint的神器，簡單幾筆就能成畫。

話不多說，上結果：

也難怪網友驚呼：“以后拆樓都不用費勁了！”

那么這款神器如何操作呢？先奉上傳送門：

http://gandissect.res.ibm.com/ganpaint.html?project=churchoutdoor&layer=layer4

GANpaint的界面也是十分的簡潔。

首先，在界面下方選擇底圖；其次，在左側選擇一個對象，如“草”、“門”、“天空”等等；然后選擇要進行的操作，例如“繪畫”、“刪除”等；最后，只需要在圖片中想要更改的區域涂抹幾筆即可。

GANpaint憑什么如此神奇？

生成對抗網絡(GANs)最近在許多實際應用中取得了令人印象深刻的結果，并且隨著樣本質量和訓練穩定性的提高，出現了許多GAN的變體。然而，對GAN的可視化和理解在很大程度上是缺失的。

因此，來自MIT、香港中文大學、IBM等學校/機構的David Bau、朱俊彥、Joshua B.Tenenbaum、周博磊等人發表論文，并在文中提出了GANpaint這款工具。

在這項工作中，研究人員提出了一個分析框架來在單元、對象和場景級別可視化和理解GAN：

首先，用基于分段的網絡剖分方法識別一組與對象概念密切相關的可解釋單元；

然后，通過測量“干預”的能力來量化可解釋單位的因果效應；

最后，通過將發現的對象概念插入到新圖像中，以此來檢查這些單元與其周圍環境之間的關系。

研究人員的主要目標是分析如何通過GAN生成器的內部表征，來對“樹”等對象進行編碼：

通過剖析（dissection）來表征單元

使用干預（intervention）測量因果關系

實驗結果

工作人員研究了在LSUN場景數據集上訓練的三種Progressive GAN的變體。為了對生成的圖像進行分割，我們使用一個最近的模型 (Xiao et al., 2018) 在ADE20K場景數據集上訓練。

該模型可以將輸入圖像分割為336個物體類，29個大物體和25個材質類。為了進一步識別專門用于對象部件的單元，我們將每個對象類c擴展為另外的對象部件類ct，cb，cl和cr，分別表示連接組件的邊界框的頂部，底部，左半部分或右半部分。。

診斷和改進GANS

框架不僅可以揭示GAN是如何成功地生成真實圖像的，也可以分析結果失敗的原因。

如圖8所示，圖8a顯示了幾個注釋單元，負責GAN結果中的visual artifacts；圖8b顯示了artifacts被成功移除，并且自由像素保持不變的改進的生成結果。

圖8: (a)兩個負責GAN結果中 visual artifacts的示例單元。總共有20個單元。通過消融這些單元，我們可以修復(b)中的artifacts，并顯著提高(c)中的視覺質量。

通過消融定位因果單元

圖9：測量在會議室圖像訓練的GAN中消融單元的效果

如圖10所示，雖然可以在會議室圖像中很好地移除窗戶，但是在其他場景中刪除窗戶則比較困難。

圖10：比較在五個場景類別訓練的GAN中消融20個窗戶單位的效果。

通過插入表征上下文關系

也可以通過強制單元和插入這些功能到場景中的特定位置來學習GAN的操作。圖11顯示了在教堂場景中插入20層門單元的效果。

圖11：通過在表示中的一個像素處將20個causal units設置為固定的高值來插入 door units。