人工智能與自然智能并沒有什么不同。不管您有多聰明，都可能會上當。如果這些騙子在手藝上也很聰明，他們可以用精心設計的錯覺欺騙您，這些錯覺會掠奪您的感性妝容中的弱點。

在娛樂領域，這稱為魔術，它可能會很有趣。但是，在AI被設計為能夠執(zhí)行從駕駛汽車到管理分布式供應鏈的所有事情的世界中，這可能是災難性的。作為AI應用程序的主要開發(fā)人員，數(shù)據(jù)科學家需要建立統(tǒng)計模型，以檢測并防御使他們誤入歧途的努力。

網(wǎng)絡安全專業(yè)人員稱之為企業(yè)AI模型的“攻擊面”可能是巨大而神秘的。如果深度神經(jīng)網(wǎng)絡中的漏洞在您意識到或已實施防御之前被第三方發(fā)現(xiàn)和利用，則可能使您的公司承受相當大的風險。對深度神經(jīng)網(wǎng)絡的對抗性攻擊(例如，計算機視覺，語音識別和自然語言處理背后的攻擊)的潛在可能性日益引起數(shù)據(jù)科學界的關注。研究文獻中充斥著許多文獻記載的實例，這些實例中，深度神經(jīng)網(wǎng)絡被對抗性攻擊所愚弄。

許多研究焦點都集中在對圖像進行微小的，基本上無法檢測到的變化(研究人員通常將其稱為“噪聲擾動”)的可能性上，這些變化會導致計算機算法對圖像進行錯誤識別或錯誤分類。攻擊者即使不知道如何構造或訓練目標神經(jīng)網(wǎng)絡的細節(jié)，也可以通過這些策略獲得成功。對抗性篡改可能非常微妙且難以檢測，甚至一直到像素級的閾下。

這不是閑聊的威脅。錯誤的算法推論可能導致基于AI的應用做出錯誤的決定，例如無人駕駛車輛誤讀交通標志，然后轉向錯誤的方向，或者在最壞的情況下，撞向建筑物，車輛或行人(圖：攻擊噪聲將行人從檢測系統(tǒng)中隱藏的示例)。盡管討論的大部分內容是在受控實驗室環(huán)境中而不是在現(xiàn)實世界中已部署的AI應用程序中進行的模擬攻擊，但是，這些攻擊媒介的存在的一般知識幾乎可以肯定會導致恐怖分子，罪犯或惡作劇的各方對其進行利用。

展望未來，AI開發(fā)人員應遵循以下準則，以在其應用程序中建立反對抗保護：

假設可能會對所有生產(chǎn)中的AI資產(chǎn)進行攻擊，因為AI部署在各處，因此開發(fā)人員需要假設其應用程序將是對抗性操縱的高調坐騎。人工智能的存在是為了使認知，感知和其他行為自動化，如果它們產(chǎn)生令人滿意的結果，則可能值得人們通常與“智能”聯(lián)系在一起的贊美。但是，AI的對抗性漏洞可能會導致認知，感知和其他 愚蠢行為，這可能遠比在這種情況下任何正常人都表現(xiàn)得糟。

在啟動AI開發(fā)之前執(zhí)行對抗威脅評估：在AI應用的整個生命周期中，開發(fā)人員應坦率地評估其項目對對抗攻擊的脆弱性。正如 2015年的研究論文所述 由IEEE發(fā)布的開發(fā)人員應權衡未授權方直接訪問AI項目關鍵要素的可能性，包括神經(jīng)網(wǎng)絡體系結構，訓練數(shù)據(jù)，超參數(shù)，學習方法和所使用的損失函數(shù)。顯然，隨著您的數(shù)據(jù)科學家使用更多的工具和語言開發(fā)更多的模型，合并更多的功能(這些特征來自更多的數(shù)據(jù)源，得到更快的評分和驗證)以及對更多業(yè)務流程的算法洞察力，攻擊媒介將繼續(xù)擴展。

認識到攻擊者可能使用間接方法來生成對抗性示例：某人也許能夠從與用于優(yōu)化深層神經(jīng)網(wǎng)絡的原始訓練數(shù)據(jù)相同的來源收集替代數(shù)據(jù)集。這可以為對手提供洞察力，以了解哪種類型的ersatz輸入數(shù)據(jù)可能使用目標深層神經(jīng)網(wǎng)絡構建的分類器模型蒙蔽。如2015年IEEE論文所述，對目標神經(jīng)網(wǎng)絡和相關訓練數(shù)據(jù)缺乏直接可見性的對手仍然可以利用戰(zhàn)術，讓他們觀察“輸入和輸出之間的關系……以適應性地制作對抗樣本”。

在AI培訓管道中生成對抗性示例作為標準活動：人工智能開發(fā)人員應將自己沉浸在不斷發(fā)展的研究中，研究如何將微妙的對抗性改變引入卷積神經(jīng)網(wǎng)絡 或CNN處理的 圖像中。數(shù)據(jù)科學家應該利用不斷增長的開源工具(例如GitHub上的開源工具) 來生成對抗性示例，以測試CNN和其他AI模型的漏洞。

針對大量輸入進行測試算法以確定其推斷的魯棒性：AI開發(fā)人員應能夠測量其神經(jīng)網(wǎng)絡過濾大量輸入以產(chǎn)生一致，可靠結果的可靠性，例如識別特定面孔或對物體進行分類將場景分為正確的類別。

認識到需要同時依靠人類策展人和對抗性例子的算法判別器：對抗性攻擊的有效性取決于其欺騙AI應用程序最后一道防線的能力。圖像的對抗性操作對肉眼可能是顯而易見的，但仍以某種方式使CNN誤分類。相反，對于人類策展人而言，不同的操作可能太微妙，以至于無法檢測到，但是在生成對抗網(wǎng)絡中訓練有素的判別器算法 可以輕松地將其識別 出來。解決第二個問題的一種有前途的方法是擁有一個GAN，其中 的對手模型會更改每個數(shù)據(jù)點 在輸入圖像中，它試圖使分類錯誤最大化，而反補貼鑒別器模型試圖使分類錯誤最小化。

建立使用多種AI算法來檢測對抗示例的集成模型：某些算法可能會比其他算法更容易受到對手篡改圖像和其他數(shù)據(jù)對象的影響。例如， 坎皮納斯大學(University of Campinas)的研究人員發(fā)現(xiàn) 了一種情形，其中較淺的分類器算法比較深的CNN更好地檢測對抗圖像。他們還發(fā)現(xiàn)，某些算法最適合檢測整個圖像上的操作，而另一些算法可能更適合在圖像的一小部分中發(fā)現(xiàn)微妙的偽造。免疫CNN免受這些攻擊的一種方法可能是添加 康奈爾大學研究員ArildNøkland 在AI模型的訓練過程中，將權重的反向傳播稱為“對抗梯度”。對于數(shù)據(jù)科學團隊來說， 在開發(fā)和生產(chǎn)環(huán)境中使用正在進行的A / B測試來測試不同算法的相對對手檢測優(yōu)勢將是明智的 。

重用對抗性防御知識以提高AI對虛假輸入示例的適應力：如 2016年IEEE研究論文所述，數(shù)據(jù)科學家可以使用 轉移學習技術 以降低CNN或其他模型對輸入圖像中對抗性更改的敏感性。傳統(tǒng)的轉移學習涉及將現(xiàn)有模型中的統(tǒng)計知識應用于另一模型，而本文則討論了如何“提取”模型的現(xiàn)有知識(通過對有效數(shù)據(jù)集進行訓練而獲得)以發(fā)現(xiàn)對抗性變化。這組作者說：“我們在防御過程中使用防御性蒸餾技術，通過使模型更好地推廣到其訓練數(shù)據(jù)集之外的樣本，來平滑由[分布式神經(jīng)網(wǎng)絡]架構學習的模型。” 結果是，一個模型應該能夠更好地識別對抗樣本或與訓練樣本中的樣本相似的樣本與非對抗樣本(可能與訓練樣本中的樣本明顯偏離的樣本)之間的差異。

在已部署的AI模型的整個生命周期中解決持續(xù)的對手攻擊防御：為了減輕AI應用程序中可被對手利用的漏洞激增的風險，數(shù)據(jù)科學家的DevOps環(huán)境應支持強大的生命周期治理控制。這些措施應包括在所有AI項目和資產(chǎn)中將敵對保護一貫地實施到配置管理，更改跟蹤，版本控制，權限管理和驗證控制中。

理想情況下，工作數(shù)據(jù)科學家應具有復雜的反對抗工具，以指導他們在AI開發(fā)和運營生命周期中應用這些實踐。在這一方面，網(wǎng)絡安全行業(yè)在上周見證了IBM推出的Adversarial Robustness Toolbox的重要里程碑。 在年度 RSA大會上宣布，這是第一個開源工具包，其中包括針對以下方面的攻擊，防御和基準：

檢測對手被篡改的輸入：該工具箱包括運行時方法，用于標記對手可能被篡改的輸入數(shù)據(jù)，以嘗試利用深層神經(jīng)網(wǎng)絡的內部表示層中的異常激活。

強化神經(jīng)網(wǎng)絡模型的結構防御能力以抵御對抗性篡改的輸入：強化包括更改深層神經(jīng)網(wǎng)絡的體系結構，以防止對抗性信號通過內部表示層傳播，用對抗性示例來擴充訓練數(shù)據(jù)，和/或對輸入進行預處理更改深層神經(jīng)網(wǎng)絡 該工具箱支持三種方法：特征壓縮，空間平滑 和標簽平滑。

針對對抗性篡改的輸入測量神經(jīng)網(wǎng)絡的魯棒性：通過記錄對抗性更改的輸入的準確性損失以及對神經(jīng)網(wǎng)絡的內部表示和輸出進行細微變化后，深層神經(jīng)網(wǎng)絡的輸出有多少變化，來衡量魯棒性。該工具箱實現(xiàn)了一個新的指標-CLEVER(跨網(wǎng)健壯性的Lipschitz極值)-可用于評估任何神經(jīng)網(wǎng)絡分類器。該度量標準表明，潛在的攻擊者容易破壞神經(jīng)網(wǎng)絡并導致模型對數(shù)據(jù)輸入進行錯誤分類。它估計了對抗攻擊成功將自然形象修改為對抗形象所需的最低攻擊強度。

該工具箱是在愛爾蘭都柏林的IBM實驗室中開發(fā)的，并且是用Python編寫的。該工具箱是開源的，可與在多個深度學習框架中開發(fā)的深度神經(jīng)網(wǎng)絡模型一起使用。第一個版本支持 TensorFlow 和 Keras，而計劃要求在后續(xù)版本中將支持擴展到 PyTorch 和 MXNet?？梢栽贗BM Research最近發(fā)布的用于深度學習的Fabric或FfDL上訓練在工具箱中編寫的對抗性防御 ，它提供了一種一致的方式來跨多個框架部署，訓練和可視化深度學習工作，或者在 Watson Studio中在IBM深度學習即服務上。開發(fā)人員可以通過ART GitHub存儲庫訪問這些框架的工具箱的開放源代碼。

當前，該工具箱的庫僅支持一種類型的深度神經(jīng)網(wǎng)絡的對抗魯棒性：用于視覺識別和分類的那些。該工具箱包括幾種示例攻擊(Deep Fool，F(xiàn)ast Gradient Method，Jacobian Saliency Map)。未來的版本將包括用于處理語音，文本和時間序列數(shù)據(jù)的深度神經(jīng)網(wǎng)絡的模型強化。

該工具箱的庫還主要用于防御“規(guī)避攻擊”，即在神經(jīng)網(wǎng)絡模型的操作推斷期間引入對抗性數(shù)據(jù)。但是，將來的發(fā)行版中將提供針對“中毒攻擊”的防御措施，在該模型中，培訓數(shù)據(jù)在前期模型開發(fā)過程中被篡改。

Wikibon建議從事敏感深度學習項目的數(shù)據(jù)科學家評估IBM工具箱，以幫助在其AI模型中建立魯棒性。