想象一下，將來有一個教室，老師與人工智能合作伙伴一起工作，以確保沒有學生落伍。AI合作伙伴的仔細監(jiān)視會發(fā)現(xiàn)后面的學生安靜且整堂課都安靜下來，AI合作伙伴會提示老師與學生互動。接到電話時，學生問一個問題。老師將講解的材料講清楚，讓每個學生對本課有更好的理解。

這是對未來教室的更大愿景的一部分，在該教室中，人類的指導和AI技術將相互作用以改善教育環(huán)境和學習體驗。

TJX費爾德伯格計算機科學教授James Pustejovsky正在與科羅拉多大學博爾德大學領導的團隊一起努力實現(xiàn)這一愿景，該團隊是由國家科學基金會資助的新的2000萬美元的AI學生-AI團隊研究所的一部分。

該研究將在幫助確保AI代理成為教室中具有語言和視覺功能的自然伙伴方面發(fā)揮至關重要的作用，不僅使AI代理能夠聽到老師和每個學生在說什么，而且還能注意到手勢(指點，聳聳肩)。 ，搖頭)，視線和面部表情(學生的態(tài)度和情感)。

Pustejovsky花了一些時間回答B(yǎng)randeisNOW關于他的研究的問題。

您的研究如何幫助建立未來的教室?

在過去的五年中，我們一直在努力創(chuàng)建一種稱為“ Diana”的多模式體現(xiàn)化身系統(tǒng)，該系統(tǒng)與人類互動以執(zhí)行各種任務。她可以交談，聆聽，看到并回應人類伴侶的語言和手勢，然后在稱為VoxWorld的3D模擬環(huán)境中執(zhí)行操作。這是我們與羅斯·貝弗里奇(Ross Beveridge)領導的科羅拉多州立大學合作者在他們的視覺實驗室中進行的工作。我們將再次合作(CSU和Brandeis)，以幫助將這種“嵌入式人機交互”帶入課堂。我的前博士學位是Nikhil Krishnaswamy 戴安娜(Diana)的學生和聯(lián)合開發(fā)人員已加入CSU，成為其團隊的一部分。

在教室環(huán)境中如何工作?

首先，它是無形的，例如在iPad上的虛擬存在，它可以識別不同學生的聲音。想象一下教室：六年級的6至10個孩子。第一年的最初目標是讓AI合作伙伴以他們在談話和互動中的方式被動地關注不同的學生，然后最終該合作伙伴將學會干預以確保每個人都得到公平的代表并參加課堂。

除教室外，戴安娜還有其他有用的設置嗎?

假設我的iPad上有一個Julia Child應用程序，我希望她能幫我做面包。如果我在iPad上啟動程序，Julia Child頭像將能夠理解我的講話。如果我已經安裝了相機，該程序將允許我將她完全嵌入并體現(xiàn)在她的虛擬空間中，以便她可以為我提供幫助。

她如何幫助您?

她會看著我的桌子，說：“好吧，您擁有所需的一切嗎?” 然后我會說：“我認為是。” 這樣就可以打開相機了，如果您將所有烘焙材料擺放在桌子上，她都會掃描桌子。她會說，我看到面粉，酵母，鹽和水，但是我沒有看到任何器皿：您將需要一杯，您將需要一茶匙。在您擁有所需的一切之后，她會告訴您將面粉放入“那邊的那個碗”中。然后她會告訴你如何混合。

那是戴安娜進來的地方嗎?

是的，戴安娜基本上已經成為人機交互中的“具體存在” ：她可以看到您在做什么，您可以看到她在做什么。在課堂互動中，戴安娜(Diana)可以幫助指導學生制定課程計劃，對話和手勢，同時監(jiān)視學生的進度，情緒以及滿意度或沮喪感。

戴安娜(Diana)在虛擬教學中有什么用嗎?

使用AI合作伙伴進行虛擬學習可能是一種相當自然的互動。實際上，使用諸如Zoom之類的平臺，實際上許多計算問題實際上都比較容易，因為已經對不同說話者的語音和視頻軌道進行了分割和識別。此外，在好萊塢廣場上所有學生的展示中，虛擬的AI合作伙伴似乎并不自然，而戴安娜(Diana)可能更容易與學生在線整合。