任何花時間在社交媒體上的人都可能已經注意到GAN(即對抗性生成網(wǎng)絡)已經非常擅長繪制面孔。他們可以預測您年老時的模樣以及名人的模樣。但是，請GAN繪制更大的場景，事情就會變得很奇怪。

MIT-IBM Watson AI Lab的一個新演示揭示了在教堂和紀念碑現(xiàn)場受訓的模型在繪制自己的版本(例如巴黎的萬神殿或羅馬的西班牙廣場)時決定放棄的內容。上周，在計算機視覺國際會議上提出了更大的研究，《看GAN不能產生什么》。

麻省理工學院電氣工程與計算機科學系的研究生戴維·鮑(David Bau)說：“研究人員通常專注于表征和改進機器學習系統(tǒng)可以做什么—它關注的是什么，以及特定的輸入如何導致特定的輸出。”計算機科學與人工科學實驗室(CSAIL)。“通過這項工作，我們希望研究人員將更多地關注表征這些系統(tǒng)忽略的數(shù)據(jù)。”

在GAN中，一對神經網(wǎng)絡一起工作以創(chuàng)建在給出示例后圖案化的超現(xiàn)實圖像。鮑爾開始對GAN感興趣，因為它可以窺視黑匣子神經網(wǎng)絡以了解其決策背后的原因。與他的顧問MIT教授Antonio Torralba和IBM研究員Hendrik Strobelt一起開發(fā)的較早工具使識別負責將圖像組織成現(xiàn)實世界類別(如門，樹和云)的人工神經元簇成為可能。GANPaint是一個相關工具，它使業(yè)余藝術家可以從自己的照片中添加和刪除這些功能。

一天，Bau在幫助藝術家使用GANPaint時遇到了一個問題。他說：“像往常一樣，我們一直在追蹤數(shù)字，試圖優(yōu)化數(shù)值重建損失來重建照片。” “但是我的顧問一直鼓勵我們超越數(shù)字，仔細檢查真實的圖像。當我們看時，這種現(xiàn)象馬上就跳了出來：人們被選擇性地輟學了。”

正如GAN和其他神經網(wǎng)絡在數(shù)據(jù)堆中找到模式一樣，它們也忽略了模式。Bau和他的同事在室內和室外場景上訓練了不同類型的GAN。但是，無論在何處拍攝照片，GAN都始終忽略重要的細節(jié)，例如人，汽車，標志，噴泉和家具，即使這些對象在圖像中突出顯示時也是如此。在一次GAN重建中，一對新婚夫婦在教堂臺階上接吻時被鬼影了，在大教堂的門上留下了怪異的婚紗紋理。

“當GAN遇到無法生成的對象時，他們似乎在想象沒有它們的場景會是什么樣子，” Strobelt說。“有時人們會變成灌木叢或完全消失在它們后面的建筑物中。”

研究人員懷疑，機器懶惰可能是罪魁禍首。盡管GAN受過訓練以創(chuàng)建令人信服的圖像，但它可能會發(fā)現(xiàn)將重點放在建筑物和景觀上并跳過難以代表的人和汽車更容易。長期以來，研究人員都知道GAN傾向于忽略一些具有統(tǒng)計意義的細節(jié)。但這可能是第一個表明最新的GAN可以系統(tǒng)地忽略圖像中所有對象類別的研究。