研究人員正在提出一個人工智能(AI)框架，該框架將允許用戶了解AI決策背后的原理?？紤]到要遠(yuǎn)離“黑匣子”人工智能系統(tǒng)，尤其是在和執(zhí)法部門等需要證明決策依據(jù)的部門，這項(xiàng)工作意義重大。

該論文的第一作者，北卡羅來納州立大學(xué)計(jì)算機(jī)工程學(xué)助理教授吳天福說：“使我們的框架與眾不同的是，我們將這些可解釋性要素納入了AI培訓(xùn)過程。”

“例如，在我們的框架下，當(dāng)一個AI程序?qū)W習(xí)如何識別圖像中的對象時，它也在學(xué)習(xí)定位圖像中的目標(biāo)對象，并解析滿足目標(biāo)對象標(biāo)準(zhǔn)的局部性。然后將這些信息與結(jié)果一起顯示。”

在概念驗(yàn)證實(shí)驗(yàn)中，研究人員將框架整合到了廣泛使用的R-CNN AI對象識別系統(tǒng)中。然后，他們在兩個完善的基準(zhǔn)數(shù)據(jù)集上運(yùn)行該系統(tǒng)。

研究人員發(fā)現(xiàn)，將可解釋性框架整合到AI系統(tǒng)中，無論從時間還是準(zhǔn)確性上都不會損害系統(tǒng)的性能。

Wu說：“我們認(rèn)為這是實(shí)現(xiàn)完全透明的AI的重要一步。” “但是，仍有一些懸而未決的問題要解決。

“例如，該框架目前已通過AI向我們顯示了一個對象的位置，這些圖像被認(rèn)為是目標(biāo)對象的特征。那是定性的。我們正在研究使這種定量化的方法，置信度得分進(jìn)入過程。”