在過去的幾十年中，人工智能(AI)方法變得越來越先進(jìn)，在許多現(xiàn)實(shí)世界的任務(wù)中取得了顯著成果。盡管如此，大多數(shù)現(xiàn)有的人工智能系統(tǒng)并沒有與人類用戶分享他們的分析和導(dǎo)致他們預(yù)測(cè)的步驟，這使得可靠地評(píng)估它們極具挑戰(zhàn)性。

來自加州大學(xué)洛杉磯分校、加州大學(xué)圣地亞哥分校、北京大學(xué)和北京通用人工智能研究院(BIGAI)的一組研究人員最近開發(fā)了一種新的人工智能系統(tǒng)，可以向人類用戶解釋其決策過程。該系統(tǒng)在《科學(xué)機(jī)器人》雜志上發(fā)表的一篇論文中進(jìn)行了介紹，它可能是朝著創(chuàng)建更可靠和更易于理解的人工智能邁出的新一步。

“可解釋人工智能(XAI)領(lǐng)域旨在建立機(jī)器人和人類之間的協(xié)作信任，而DARPAXAI項(xiàng)目為推進(jìn)該領(lǐng)域的研究提供了巨大的催化劑，”該論文的第一作者之一袁路耀博士，告訴TechXplore。“在DARPAXAI項(xiàng)目之初，研究團(tuán)隊(duì)主要專注于通過向用戶揭示AI系統(tǒng)的決策過程來檢查用于分類任務(wù)的模型;例如，某些模型可以可視化CNN模型的某些層，聲稱可以實(shí)現(xiàn)一定的XAI級(jí)別。”

袁博士和他的同事們參與了DARPAXAI項(xiàng)目，該項(xiàng)目專門針對(duì)開發(fā)新的和有前途的XAI系統(tǒng)。在參與該項(xiàng)目時(shí)，他們開始思考XAI在更廣泛意義上的含義，特別是它可能對(duì)人機(jī)協(xié)作產(chǎn)生的影響。

該團(tuán)隊(duì)最近的論文建立在他們之前的一篇論文的基礎(chǔ)上，該論文也發(fā)表在《科學(xué)機(jī)器人》上，該團(tuán)隊(duì)探討了可解釋系統(tǒng)在人機(jī)交互過程中對(duì)用戶對(duì)人工智能的感知和信任可能產(chǎn)生的影響。在他們過去的研究中，該團(tuán)隊(duì)在物理上(即在現(xiàn)實(shí)世界中)實(shí)施并測(cè)試了一個(gè)人工智能系統(tǒng)，而在他們的新研究中，他們?cè)谀M中對(duì)其進(jìn)行了測(cè)試。

“我們的范式與DARPAXAI項(xiàng)目中團(tuán)隊(duì)提出的幾乎所有范式形成鮮明對(duì)比，后者主要關(guān)注我們所謂的被動(dòng)機(jī)器-主動(dòng)用戶范式，”該項(xiàng)目的主管之一朱一新教授告訴TechXplore。“在這些范例中，人類用戶需要通過利用一些揭示人工智能模型潛在決策過程的模型來積極檢查并試圖弄清楚機(jī)器在做什么(因此是‘活躍用戶’)。”

遵循朱教授所說的“被動(dòng)機(jī)器-主動(dòng)用戶”范式的XAI系統(tǒng)要求用戶不斷與AI簽到以了解其決策背后的過程。在這種情況下，用戶對(duì)人工智能過程的理解和對(duì)其預(yù)測(cè)的信任不會(huì)影響人工智能未來的決策過程，這就是機(jī)器被稱為“被動(dòng)”的原因。

相比之下，袁博士、朱教授及其同事引入的新范式遵循了團(tuán)隊(duì)所說的主動(dòng)機(jī)器-主動(dòng)用戶范式。這實(shí)質(zhì)上意味著他們的系統(tǒng)可以根據(jù)用戶即時(shí)收到的反饋主動(dòng)學(xué)習(xí)和調(diào)整其決策。這種適應(yīng)環(huán)境的能力是通常被稱為第三波/下一波人工智能的特征。

“為了讓人工智能系統(tǒng)像我們期望的那樣幫助他們的用戶，當(dāng)前的系統(tǒng)要求用戶按照專家定義的目標(biāo)進(jìn)行編碼，”袁博士說。“這限制了人機(jī)協(xié)作的潛力，因?yàn)檫@樣的目標(biāo)在許多任務(wù)中很難定義，使得大多數(shù)人無(wú)法訪問人工智能系統(tǒng)。為了解決這個(gè)問題，我們的工作使機(jī)器人能夠在協(xié)作過程中估計(jì)用戶的意圖和價(jià)值實(shí)時(shí)，無(wú)需事先為機(jī)器人編寫復(fù)雜和特定目標(biāo)的代碼，從而提供更好的人機(jī)協(xié)作范式。”

袁博士和他的同事們創(chuàng)建的系統(tǒng)的目標(biāo)是達(dá)到所謂的“價(jià)值一致性”。這實(shí)質(zhì)上意味著人類用戶可以理解為什么機(jī)器人或機(jī)器以特定方式行動(dòng)或得出特定結(jié)論，并且機(jī)器或機(jī)器人可以推斷人類用戶以特定方式行動(dòng)的原因。這可以顯著增強(qiáng)人機(jī)通信。

“這種雙向性和實(shí)時(shí)性是該問題的最大挑戰(zhàn)，也是我們貢獻(xiàn)的亮點(diǎn)，”朱教授說。“綜合以上幾點(diǎn)，我想你現(xiàn)在應(yīng)該明白為什么我們的論文題目是“原位雙向人機(jī)價(jià)值對(duì)齊”了。

為了訓(xùn)練和測(cè)試他們的XAI系統(tǒng)，研究人員設(shè)計(jì)了一款名為“偵察探索”的游戲，在該游戲中，人類需要在團(tuán)隊(duì)中完成一項(xiàng)任務(wù)。這個(gè)游戲最重要的方面之一是人類和機(jī)器人需要調(diào)整他們所謂的“價(jià)值功能”。

童子軍探索游戲的研究設(shè)計(jì)。時(shí)間線(A)表示在單輪游戲中發(fā)生的事件。時(shí)間線(B)和(C)分別描繪了機(jī)器人和用戶的心理動(dòng)態(tài)。圖片來源：陳珍女士@BIGAI。

“在游戲中，一組機(jī)器人可以感知環(huán)境;這模擬了現(xiàn)實(shí)世界的應(yīng)用，其中一組機(jī)器人應(yīng)該自主工作，以最大限度地減少人為干預(yù)，”朱教授說。“然而，人類用戶不能直接與環(huán)境交互;相反，用戶被賦予了一個(gè)特定的價(jià)值函數(shù)，由幾個(gè)因素的重要性表示(例如，完成時(shí)間的總時(shí)間，以及在旅途中收集的資源)。”

在偵察探索游戲中，機(jī)器人團(tuán)隊(duì)無(wú)法訪問賦予人類用戶的價(jià)值函數(shù)，他們需要對(duì)其進(jìn)行推斷。由于這個(gè)值不容易表達(dá)和傳達(dá)，為了完成任務(wù)，機(jī)器人和人類團(tuán)隊(duì)必須相互推斷。

“游戲中的交流是雙向的：一方面，機(jī)器人向用戶提出多個(gè)任務(wù)計(jì)劃并解釋每個(gè)任務(wù)的優(yōu)缺點(diǎn)，另一方面，用戶對(duì)建議進(jìn)行反饋并對(duì)每個(gè)解釋進(jìn)行評(píng)分，”該論文的第一作者之一高曉峰博士告訴TechXplore。“這些雙向通信實(shí)現(xiàn)了所謂的價(jià)值對(duì)齊。”

本質(zhì)上，要完成“偵察探索”中的任務(wù)，機(jī)器人團(tuán)隊(duì)必須簡(jiǎn)單地根據(jù)人類的反饋了解人類用戶的價(jià)值函數(shù)是什么。同時(shí)，人類用戶學(xué)習(xí)機(jī)器人的當(dāng)前價(jià)值估計(jì)，并可以提供幫助他們改進(jìn)的反饋，并最終引導(dǎo)他們做出正確的反應(yīng)。

“我們還將心智理論集成到我們的計(jì)算模型中，使人工智能系統(tǒng)能夠生成適當(dāng)?shù)慕忉?，以揭示其?dāng)前價(jià)值，并在交互過程中根據(jù)用戶的反饋實(shí)時(shí)估計(jì)用戶的價(jià)值，”高博士說。“然后我們進(jìn)行了廣泛的用戶研究來評(píng)估我們的框架。”

在初步評(píng)估中，由袁博士、朱教授、高博士和他們的同事創(chuàng)建的系統(tǒng)取得了顯著的效果，從而在童子軍探索游戲中實(shí)現(xiàn)了動(dòng)態(tài)和互動(dòng)的價(jià)值觀對(duì)齊。團(tuán)隊(duì)發(fā)現(xiàn)，機(jī)器人早在游戲進(jìn)行到25%時(shí)就與人類用戶的價(jià)值函數(shù)對(duì)齊，而用戶可以在游戲進(jìn)行到一半左右獲得對(duì)機(jī)器價(jià)值函數(shù)的準(zhǔn)確感知。

“(i)從機(jī)器人的價(jià)值到用戶的真實(shí)價(jià)值，以及(ii)從用戶對(duì)機(jī)器人價(jià)值的估計(jì)到機(jī)器人的當(dāng)前價(jià)值，收斂配對(duì)形成了以用戶真實(shí)價(jià)值為基礎(chǔ)的雙向價(jià)值對(duì)齊，”博士.袁說。“我們相信，我們的框架強(qiáng)調(diào)了構(gòu)建智能機(jī)器的必要性，這些機(jī)器通過交互來學(xué)習(xí)和理解我們的意圖和價(jià)值觀，這對(duì)于避免小說和大銀幕上描繪的許多反烏托邦科幻故事至關(guān)重要。”

這組研究人員最近的工作對(duì)專注于開發(fā)更易于理解的人工智能的研究領(lǐng)域做出了重大貢獻(xiàn)。他們提出的系統(tǒng)可以作為創(chuàng)建其他XAI系統(tǒng)的靈感，在這些系統(tǒng)中，機(jī)器人或智能助手積極與人類互動(dòng)，分享他們的流程并根據(jù)他們從用戶那里收到的反饋提高他們的性能。

“價(jià)值對(duì)齊是我們邁向通用人機(jī)協(xié)作的第一步，”袁博士解釋說。“在這項(xiàng)工作中，價(jià)值對(duì)齊發(fā)生在單個(gè)任務(wù)的背景下。但是，在許多情況下，一組代理在許多任務(wù)中進(jìn)行合作。例如，我們希望一個(gè)家用機(jī)器人幫助我們完成許多日?，嵤拢皇琴?gòu)買許多機(jī)器人，每個(gè)只能做一種工作。”

到目前為止，研究人員XAI系統(tǒng)已經(jīng)取得了非常有希望的結(jié)果。在接下來的研究中，袁博士、朱教授、高博士和他們的同事計(jì)劃探索可應(yīng)用于許多不同現(xiàn)實(shí)世界任務(wù)的人機(jī)價(jià)值對(duì)齊實(shí)例，以便人類用戶和AI代理可以積累他們?cè)诓煌蝿?wù)上協(xié)作時(shí)獲得的有關(guān)彼此流程和能力的信息。

“在我們接下來的研究中，我們還尋求將我們的框架應(yīng)用于更多的任務(wù)和物理機(jī)器人，”高博士說。“除了價(jià)值觀之外，我們相信在人類和機(jī)器人之間協(xié)調(diào)心智模型的其他方面(例如，信念、欲望、意圖)也將是一個(gè)有希望的方向。”

研究人員希望他們新的可解釋人工智能范式將有助于加強(qiáng)人與機(jī)器在眾多任務(wù)上的協(xié)作。此外，他們希望他們的方法能夠增加人類對(duì)基于人工智能的系統(tǒng)的信任，包括智能助手、機(jī)器人、機(jī)器人和其他虛擬代理。

“例如，當(dāng)Alexa或GoogleHome出錯(cuò)時(shí)，你可以糾正它;但下次使用它時(shí)，它會(huì)犯同樣的錯(cuò)誤，”朱教授補(bǔ)充道。“當(dāng)你的Roomba去某個(gè)你不想讓它去的地方并試圖與之對(duì)抗時(shí)，它不會(huì)理解，因?yàn)樗蛔裱A(yù)先定義的AI邏輯。所有這些都禁止現(xiàn)代AI進(jìn)入我們的家。作為第一個(gè)一步，我們的工作展示了解決這些問題的潛力，更接近于在第三次人工智能浪潮中實(shí)現(xiàn)DARPA所謂的‘情境適應(yīng)’。”