越來越多地，被稱為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的人工智能系統(tǒng)用于告知對人類健康和安全至關(guān)重要的決策，例如在自動(dòng)駕駛或醫(yī)療診斷中。這些網(wǎng)絡(luò)擅長識(shí)別大型復(fù)雜數(shù)據(jù)集中的模式以幫助決策。但是，我們怎么知道它們是正確的呢?亞歷山大·阿米尼(Alexander Amini)和他在麻省理工學(xué)院和哈佛大學(xué)的同事希望找出答案。

他們?yōu)樯窠?jīng)網(wǎng)絡(luò)開發(fā)了一種處理數(shù)據(jù)的快速方法，不僅可以輸出預(yù)測，還可以基于可用數(shù)據(jù)的質(zhì)量輸出模型的置信度。這種進(jìn)步可能會(huì)挽救生命，因?yàn)楫?dāng)今的現(xiàn)實(shí)世界已經(jīng)部署了深度學(xué)習(xí)。網(wǎng)絡(luò)的確定性級(jí)別可以是自動(dòng)駕駛汽車確定“很明顯可以通過交叉路口”和“很可能已經(jīng)清楚，因此以防萬一”之間的區(qū)別。

用于神經(jīng)網(wǎng)絡(luò)的不確定性估計(jì)的當(dāng)前方法在計(jì)算上趨于昂貴并且對于瞬間決策而言相對較慢。但是阿米尼的方法被稱為“深度證據(jù)回歸”，可以加快這一過程，并可能導(dǎo)致更安全的結(jié)果。“我們不僅需要擁有高性能模型的能力，而且還需要了解我們何時(shí)無法信任那些模型的能力，”博士Amini說。麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的Daniela Rus教授小組的學(xué)生。

“這個(gè)想法很重要，并且廣泛適用。它可以用于評(píng)估依賴于學(xué)習(xí)模型的產(chǎn)品。通過估計(jì)學(xué)習(xí)模型的不確定性，我們還可以了解模型會(huì)帶來多少誤差，以及哪些缺失數(shù)據(jù)可以改善模型的誤差。模型。” Rus說。

Amini將與Rus一起在下個(gè)月的NeurIPS會(huì)議上介紹這項(xiàng)研究，Rus是安德魯和厄納·維特比(Andrew and Erna Viterbi)的電氣工程和計(jì)算機(jī)科學(xué)教授，CSAIL的負(fù)責(zé)人，也是麻省理工學(xué)院斯蒂芬·A·施瓦茨曼計(jì)算機(jī)學(xué)院的副院長。麻省理工學(xué)院的研究生Wilko Schwarting以及麻省理工學(xué)院和哈佛大學(xué)的Ava Soleimany。

有效的不確定性

縱觀歷史，深度學(xué)習(xí)在各種任務(wù)上都表現(xiàn)出卓越的性能，在某些情況下甚至超過了人類的準(zhǔn)確性。如今，深度學(xué)習(xí)似乎隨計(jì)算機(jī)而去。它為搜索引擎結(jié)果，社交媒體供稿和面部識(shí)別提供了動(dòng)力。“我們在使用深度學(xué)習(xí)方面取得了巨大的成功，” Amini說。“神經(jīng)網(wǎng)絡(luò)確實(shí)擅長于99%的時(shí)間知道正確的答案。” 但是有99%的人無法挽救生命。

阿米尼說：“使研究人員無法理解的是，這些模型能夠知道并告訴我們何時(shí)可能出錯(cuò)。” “我們真的很在意這1%的時(shí)間，以及我們?nèi)绾慰煽?，有效地檢測到這些情況。”

神經(jīng)網(wǎng)絡(luò)可能非常龐大，有時(shí)會(huì)充滿數(shù)十億個(gè)參數(shù)。因此，僅僅為了獲得答案可能是繁重的計(jì)算工作，更不用說置信度了。神經(jīng)網(wǎng)絡(luò)中的不確定性分析并不新鮮。但是以前的方法基于貝葉斯深度學(xué)習(xí)，已經(jīng)多次依賴運(yùn)行或采樣神經(jīng)網(wǎng)絡(luò)來了解其信心。該過程需要時(shí)間和內(nèi)存，這在高速流量中可能并不存在。

研究人員設(shè)計(jì)了一種方法，可以僅通過一次神經(jīng)網(wǎng)絡(luò)來估計(jì)不確定性。他們設(shè)計(jì)了具有大量輸出的網(wǎng)絡(luò)，不僅生成決策，而且還收集了新的概率分布，以收集支持該決策的證據(jù)。這些分布稱為證據(jù)分布，直接捕獲了模型對其預(yù)測的信心。這包括基礎(chǔ)輸入數(shù)據(jù)以及模型的最終決策中存在的任何不確定性。這種區(qū)別可以表明是否可以通過調(diào)整神經(jīng)網(wǎng)絡(luò)本身來減少不確定性，或者輸入數(shù)據(jù)是否只是噪聲。