計(jì)算機(jī)視覺(jué)算法并不完美。就在本月，研究人員證明了一種流行的物體檢測(cè)API 可能會(huì)被人誤以為貓是“瘋狂的被子”和“玻璃紙”。不幸的是，這不是最糟糕的：他們也可能被迫計(jì)算圖像中的方塊，對(duì)數(shù)字進(jìn)行分類(lèi)，并執(zhí)行除預(yù)期任務(wù)之外的任務(wù)。

在預(yù)印本服務(wù)器Arxiv.org上發(fā)表的題為“ 神經(jīng)網(wǎng)絡(luò)的對(duì)抗性重編程 ”的論文中，谷歌人工智能研究部門(mén)Google Brain的研究人員描述了一種實(shí)際上重新編程機(jī)器學(xué)習(xí)系統(tǒng)的對(duì)抗方法。轉(zhuǎn)移學(xué)習(xí)的新形式甚至不需要攻擊者指定輸出。

研究人員寫(xiě)道：“我們的結(jié)果[首次證明] ......可能會(huì)發(fā)生針對(duì)神經(jīng)網(wǎng)絡(luò)重新編程的對(duì)抗性攻擊......” “這些結(jié)果證明了深度神經(jīng)網(wǎng)絡(luò)中令人驚訝的靈活性和令人驚訝的脆弱性。”

以下是它的工作原理：惡意行為者可以訪(fǎng)問(wèn)正在執(zhí)行任務(wù)的對(duì)抗神經(jīng)網(wǎng)絡(luò)的參數(shù)，然后以轉(zhuǎn)換的形式引入擾動(dòng)或?qū)箶?shù)據(jù)，以輸入圖像。隨著對(duì)抗性輸入被饋送到網(wǎng)絡(luò)中，他們將其學(xué)習(xí)的功能重新用于新任務(wù)。

科學(xué)家在六種模型中測(cè)試了該方法。通過(guò)嵌入來(lái)自MNIST計(jì)算機(jī)視覺(jué)數(shù)據(jù)集的操縱輸入圖像(黑色幀和白色方塊的范圍從1到10)，他們?cè)O(shè)法獲得所有六種算法來(lái)計(jì)算圖像中的方塊數(shù)，而不是識(shí)別像“白鯊”這樣的對(duì)象。 “鴕鳥(niǎo)。”在第二個(gè)實(shí)驗(yàn)中，他們強(qiáng)迫他們對(duì)數(shù)字進(jìn)行分類(lèi)。在第三次也是最后一次測(cè)試中，他們讓模型識(shí)別來(lái)自CIFAR-10(一個(gè)物體識(shí)別數(shù)據(jù)庫(kù))的圖像，而不是最初訓(xùn)練它們的ImageNet語(yǔ)料庫(kù)。

糟糕的演員可以使用攻擊來(lái)竊取計(jì)算資源，例如，通過(guò)重新編程云托管照片服務(wù)中的計(jì)算機(jī)視覺(jué)分類(lèi)器來(lái)解決圖像驗(yàn)證碼 或挖掘加密貨幣。盡管該論文的作者沒(méi)有在復(fù)現(xiàn)神經(jīng)網(wǎng)絡(luò)(一種常用于語(yǔ)音識(shí)別的網(wǎng)絡(luò))中測(cè)試該方法，但他們假設(shè)成功的攻擊可能會(huì)導(dǎo)致這類(lèi)算法執(zhí)行“一系列非常大的任務(wù)”。

研究人員寫(xiě)道：“對(duì)抗性程序也可以用作實(shí)現(xiàn)更傳統(tǒng)計(jì)算機(jī)黑客的新方法”。“例如，隨著手機(jī)越來(lái)越多地充當(dāng)人工智能驅(qū)動(dòng)的數(shù)字助理，通過(guò)將某人的手機(jī)暴露于對(duì)抗性圖像或音頻文件來(lái)重新編程，這種可能性會(huì)增加。由于這些數(shù)字助理可以訪(fǎng)問(wèn)用戶(hù)的電子郵件，日歷，社交媒體帳戶(hù)和信用卡，因此此類(lèi)攻擊的后果也會(huì)變得更大。“

幸運(yùn)的是，這并不都是壞消息。研究人員指出，隨機(jī)神經(jīng)網(wǎng)絡(luò)似乎比其他神經(jīng)網(wǎng)絡(luò)更不容易受到攻擊，并且對(duì)抗性攻擊可以使機(jī)器學(xué)習(xí)系統(tǒng)更易于重新利用，更靈活，更高效。

即便如此，他們寫(xiě)道，“未來(lái)的調(diào)查應(yīng)該解決對(duì)抗性編程的特性和局限性以及防御它的可能方法。