麻省理工學(xué)院的研究人員已經(jīng)設(shè)計(jì)出一種方法，用于評估被稱為神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型如何用于各種任務(wù)，通過檢測模型何時(shí)出錯(cuò)而不應(yīng)該這樣做。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)旨在處理和分類圖像以用于計(jì)算機(jī)視覺和許多其他任務(wù)。但是人眼難以察覺的輕微修改 - 比如圖像中的一些較暗的像素 - 可能會(huì)導(dǎo)致CNN產(chǎn)生截然不同的分類。這些修改被稱為“對抗性示例”。研究對抗性示例對神經(jīng)網(wǎng)絡(luò)的影響可以幫助研究人員確定他們的模型如何容易受到現(xiàn)實(shí)世界中意外輸入的影響。

例如，無人駕駛汽車可以使用CNN來處理視覺輸入并產(chǎn)生適當(dāng)?shù)捻憫?yīng)。如果汽車接近停車標(biāo)志，它將識別標(biāo)志并停止。但是2018年的一篇論文發(fā)現(xiàn)，在停車標(biāo)志上放置一個(gè)黑白貼紙實(shí)際上可以欺騙無人駕駛汽車的CNN對標(biāo)志進(jìn)行錯(cuò)誤分類，這可能會(huì)導(dǎo)致它根本不會(huì)停止。

然而，沒有辦法完全評估大型神經(jīng)網(wǎng)絡(luò)對所有測試輸入的對抗性示例的彈性。在他們本周在國際學(xué)習(xí)代表會(huì)議上發(fā)表的一篇論文中，研究人員描述了一種技術(shù)，對于任何輸入，要么找到對抗性的例子，要么保證所有被擾動(dòng)的輸入 - 仍然看起來與原始相似 - 被正確分類。通過這樣做，它可以測量網(wǎng)絡(luò)對特定任務(wù)的穩(wěn)健性。

類似的評估技術(shù)確實(shí)存在，但還無法擴(kuò)展到更復(fù)雜的神經(jīng)網(wǎng)絡(luò)。與這些方法相比，研究人員的技術(shù)運(yùn)行速度提高了三個(gè)數(shù)量級，并且可以擴(kuò)展到更復(fù)雜的CNN。

研究人員評估了CNN的穩(wěn)健性，旨在對MNIST手寫數(shù)字?jǐn)?shù)據(jù)集中的圖像進(jìn)行分類，其中包括60,000個(gè)訓(xùn)練圖像和10,000個(gè)測試圖像。研究人員發(fā)現(xiàn)，大約4%的測試輸入可能會(huì)受到輕微擾動(dòng)，從而產(chǎn)生可能導(dǎo)致模型進(jìn)行錯(cuò)誤分類的對抗性示例。

第一作者，計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的研究生Vincent Tjeng說：“對抗性的例子欺騙了一個(gè)神經(jīng)網(wǎng)絡(luò)，使人們不會(huì)犯錯(cuò)誤。” “對于給定的輸入，我們想要確定是否有可能引入小的擾動(dòng)，這會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)產(chǎn)生與通常情況下截然不同的輸出。通過這種方式，我們可以評估不同神經(jīng)網(wǎng)絡(luò)的穩(wěn)健程度，找到至少一個(gè)與輸入類似的對抗性示例，或者保證不存在該輸入。“

加入Tjeng的是CSAIL研究生Kai Xiao和Russ Tedrake，CSAIL研究員和電氣工程與計(jì)算機(jī)科學(xué)系(EECS)教授。

CNN通過包含稱為神經(jīng)元的單元的許多計(jì)算層來處理圖像。對于對圖像進(jìn)行分類的CNN，最后一層由每個(gè)類別的一個(gè)神經(jīng)元組成。CNN基于具有最高輸出值的神經(jīng)元對圖像進(jìn)行分類?？紤]一個(gè)CNN，旨在將圖像分為兩類：“貓”或“狗”。如果它處理貓的圖像，“貓”分類神經(jīng)元的值應(yīng)該更高。當(dāng)對該圖像的微小修改導(dǎo)致“狗”分類神經(jīng)元的值更高時(shí)，會(huì)出現(xiàn)對抗性示例。

研究人員的技術(shù)檢查對圖像每個(gè)像素的所有可能修改?；旧?，如果CNN為每個(gè)修改的圖像分配正確的分類(“cat”)，則不存在該圖像的對抗性示例。

該技術(shù)的背后是“混合整數(shù)規(guī)劃”的修改版本，這是一種優(yōu)化方法，其中一些變量被限制為整數(shù)。本質(zhì)上，混合整數(shù)規(guī)劃用于在給定變量的某些約束的情況下找到一些目標(biāo)函數(shù)的最大值，并且可以被設(shè)計(jì)為有效地?cái)U(kuò)展以評估復(fù)雜神經(jīng)網(wǎng)絡(luò)的魯棒性。

研究人員設(shè)定了限制，允許每個(gè)輸入圖像中的每個(gè)像素都被提亮或變暗達(dá)到一定的設(shè)定值。給定限制，修改后的圖像看起來仍然與原始輸入圖像非常相似，這意味著CNN不應(yīng)該被愚弄。混合整數(shù)編程用于找到可能導(dǎo)致錯(cuò)誤分類的像素的最小可能修改。

這個(gè)想法是調(diào)整像素可能會(huì)導(dǎo)致錯(cuò)誤分類的值上升。例如，如果將貓圖像輸入到寵物分類CNN中，則算法將保持?jǐn)_動(dòng)像素以查看它是否可以將對應(yīng)于“狗”的神經(jīng)元的值提高到高于“貓”的值。

如果算法成功，則它已找到輸入圖像的至少一個(gè)對抗性示例。該算法可以繼續(xù)調(diào)整像素以找到導(dǎo)致錯(cuò)誤分類所需的最小修改。最小修改越大 - 稱為“最小對抗性失真” - 網(wǎng)絡(luò)對抗對抗性的例子就越強(qiáng)。然而，如果正確的分類神經(jīng)元針對所有不同的修改像素組合觸發(fā)，則算法可以保證圖像沒有對抗性示例。

“鑒于一個(gè)輸入圖像，我們想知道我們是否可以通過觸發(fā)錯(cuò)誤分類的方式對其進(jìn)行修改，”Tjeng說。“如果我們不能，那么我們就可以保證我們在整個(gè)空間中搜索了允許的修改，并發(fā)現(xiàn)原始圖像沒有被錯(cuò)誤分類的擾動(dòng)版本。”

最后，這會(huì)生成一個(gè)百分比，表示有多少輸入圖像具有至少一個(gè)對抗性示例，并保證其余部分沒有任何對抗性示例。在現(xiàn)實(shí)世界中，CNN擁有許多神經(jīng)元，并將在大量數(shù)據(jù)集上進(jìn)行數(shù)十種不同的分類訓(xùn)練，因此該技術(shù)的可擴(kuò)展性至關(guān)重要，Tjeng說。

“在針對不同任務(wù)設(shè)計(jì)的不同網(wǎng)絡(luò)中，CNN對于對抗性的例子非常重要，”他說。“我們可以證明沒有對抗性的例子，測試樣本的分?jǐn)?shù)越大，網(wǎng)絡(luò)暴露于擾動(dòng)輸入時(shí)應(yīng)該表現(xiàn)得越好。”

“由于幾乎所有[傳統(tǒng)]防御機(jī)制都可以再次被打破，因此可靠性對穩(wěn)健性的影響非常重要，”薩爾州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)教授馬蒂亞斯海因說，他沒有參與這項(xiàng)研究，但嘗試了這項(xiàng)技術(shù)。“我們使用確切的驗(yàn)證框架來證明我們的網(wǎng)絡(luò)確實(shí)很強(qiáng)大...... [和]使得與正常培訓(xùn)相比也可以驗(yàn)證它們。”