研究員敦促同行走出現(xiàn)實世界

來自Atari 的視頻游戲Breakout于1976年首次登場。游戲，一個簡單的問題就是水平移動槳以將球彈回墻壁并切斷它們，已經(jīng)成為培訓(xùn)人工智能的支柱。

但也許是時候突破突圍了。

周三早上，F(xiàn)acebook的人工智能研究部門的科學(xué)家Joelle Pineau在著名的蒙特利爾機器學(xué)習(xí)會上發(fā)表了關(guān)于機器學(xué)習(xí)的會議。

此外：IBM，Apple和Facebook代表了對于值得尊敬的AI會議的新業(yè)務(wù)傾向

Pineau的直接關(guān)注點是，盡管有很多優(yōu)點，但今天在機器學(xué)習(xí)方面的工作太多，也沒有留下嚴(yán)謹(jǐn)?shù)姆矫?。例如，許多研究是在模擬世界中完成的，在計算機內(nèi)以原始方式構(gòu)建的東西。Pineau建議，這些模擬可能有助于使結(jié)果重現(xiàn)，這很好，但它們錯過了自然界的許多復(fù)雜性，這可能會使工作變得不那么有意義，不那么嚴(yán)謹(jǐn)。

“我喜歡模擬器有助于重復(fù)性，”Pineau說。“我們希望獲得這種便利，但我們也希望包含一些現(xiàn)實世界。

我們必須打破這些模擬器并解決現(xiàn)實世界，”她敦促道。

Pineau專注于她熱衷的機器學(xué)習(xí)，稱為強化學(xué)習(xí)，它廣泛使用模擬器。強化學(xué)習(xí)技術(shù)是關(guān)于使計算機“代理”能夠在環(huán)境中采取一系列動作，并且基于最大化代理接收的獎勵來找出在可能的動作之間做出良好選擇的規(guī)則。

此外：Facebook的目標(biāo)是在最新的人工智能研究中更加吸引人類

Atari的Breakout是眾多視頻游戲中的一種，用于模擬代理商做出選擇的環(huán)境。這種模擬訓(xùn)練導(dǎo)致計算機越來越超越人類在游戲中的表現(xiàn)。許多研究人員正在探索使用強化學(xué)習(xí)的有希望的途徑，例如用于嵌入體內(nèi)的“神經(jīng)刺激”裝置的控制系統(tǒng)，可以幫助預(yù)防癲癇發(fā)作。

但是Pineau暗示強化學(xué)習(xí)的這種關(guān)鍵用途需要最終解決現(xiàn)實世界的復(fù)雜性。

對此事的反思，Pineau和她的團隊想知道，“我們可以通過一些自然世界的信號讓這更有趣嗎?” 他們將街景的視頻插入Breakout的背景中，并使用新的，更“嘈雜”的環(huán)境重新訓(xùn)練強化學(xué)習(xí)系統(tǒng)。

此外：Facebook Oculus研究制作了John Oliver和Stephen Colbert的奇怪混搭

“視頻是無窮無盡的自然噪音源，”Pineau觀察到。正如她所指出的，當(dāng)人們被要求用視頻背景玩游戲時，“它有點難，但它們?nèi)匀豢梢酝妗?rdquo; 這意味著，如果計算機可以成功應(yīng)對這種逆境，那么在添加噪聲時會出現(xiàn)挑戰(zhàn)，這些挑戰(zhàn)可以產(chǎn)生更令人印象深刻的結(jié)果。

“我們可以做很多事情來將環(huán)境中的自然噪音融入其中，”Pineau說。“我們可以在模擬器的真實性中設(shè)置更高的標(biāo)準(zhǔn)。

另外：Pineau的演講幻燈片可在NeurIPS網(wǎng)站上下載

“從靜態(tài)圖像到視頻背景，我們可以進(jìn)一步發(fā)展。”

這包括“創(chuàng)建照片逼真的模擬環(huán)境”，她說。她展示了模擬房屋內(nèi)部的一些圖像，真實世界的圖像被嫁接到空間，直到反射鏡子。