近年來，許多人工智能(AI)和機器人技術(shù)研究人員一直在嘗試開發(fā)可以為其動作或預測提供解釋的系統(tǒng)。他們的工作背后的想法是，隨著AI系統(tǒng)變得越來越廣泛，可以解釋為什么它們以特定的方式運行，或者為什么做出某些預測可以增加透明度，并因此提高用戶對它們的信任度。

雷恩不列塔尼大西洋研究中心和圖盧茲法國國家科學研究中心的研究人員最近進行了一項研究，對該假設(shè)進行了探索和質(zhì)疑，希望能更好地理解AI的可解釋性實際上如何影響用戶對AI的信任。他們的論文發(fā)表在《自然機器智能》上，認為人工智能系統(tǒng)的解釋實際上可能不像某些用戶認為的那樣真實或透明。

兩位從事這項研究的研究人員Erwan Le Merrer和GillesTrédan告訴TechXplore：“本文源于我們渴望探索直覺的鴻溝。” “作為互動的人類，我們并不總是信任所提供的解釋，但是作為計算機科學家，我們不斷聽到可解釋性對于公眾接受AI至關(guān)重要。盡管我們認識到在某些情況下AI的可解釋性(例如，是一位在“白盒子”上工作的AI設(shè)計師)，我們希望從用戶(即“黑盒子”)的角度來闡明其局限性。”

最近許多研究人員認為，機器學習算法和其他AI工具應該能夠以類似于人類的方式來解釋其決策背后的理由。另一方面，Le Merrer和Trédan認為，盡管AI解釋可能在本地環(huán)境中具有價值，例如向嘗試調(diào)試系統(tǒng)的開發(fā)人員提供有用的反饋，但它們可能在遠程環(huán)境中具有欺騙性，而AI系統(tǒng)是由特定服務(wù)提供商進行培訓和管理，因此其決策將通過第三方交付給用戶。

Le Merrer和Trédan解釋說：“用戶對自己面臨的決策的理解是采用基于AI的算法決策的核心社會問題。” “我們暴露出提供者的邏輯解釋總是容易受到攻擊(即謊言)，對于孤立的用戶來說很難或不可能檢測到。我們表明，功能和可能的攻擊的空間非常大，因此，即使如果用戶共謀發(fā)現(xiàn)問題，這些謊言仍然難以發(fā)現(xiàn)。”

為了更好地說明其想法背后的原因，Le Merrer和Trédan在夜總會外面用蹦蹦床類比，他們在向個別客戶解釋為什么拒絕他們進入門口時可能撒謊。類似地，研究人員建議，遠程服務(wù)提供商可能會向用戶說謊，說明人工智能的預測或動作背后的原因，例如，利用區(qū)分性功能。他們在論文中將這種并行性稱為“保鏢問題”。