近年來，研究人員開發(fā)了越來越多的計(jì)算技術(shù)，以使機(jī)器人具有類似人的能力。但是，到目前為止開發(fā)的大多數(shù)技術(shù)都只專注于人為地再現(xiàn)視覺和觸覺，而忽略了諸如聽覺感知之類的其他感覺。

卡內(nèi)基梅隆大學(xué)(CMU)的研究小組最近進(jìn)行了一項(xiàng)研究，探討了使用聲音開發(fā)具有更先進(jìn)傳感功能的機(jī)器人的可能性。他們的論文發(fā)表在《機(jī)器人技術(shù)：科學(xué)與系統(tǒng)》上，介紹了迄今為止編譯的最大的聲音動(dòng)作視覺數(shù)據(jù)集，該數(shù)據(jù)集是作為一個(gè)稱為Tilt-Bot的機(jī)器人平臺收集的，并且可以與各種各樣的對象進(jìn)行交互。

“在機(jī)器人學(xué)習(xí)中，我們通常僅使用視覺輸入進(jìn)行感知，但是人類擁有的感知方式不僅僅是視覺。”進(jìn)行這項(xiàng)研究的研究人員之一Lerrel Pinto對TechXplore說。“聲音是學(xué)習(xí)和了解我們的物理環(huán)境的關(guān)鍵組成部分。因此，我們提出了一個(gè)問題：聲音可以用機(jī)器人學(xué)買我們嗎?為了回答這個(gè)問題，我們創(chuàng)建了Tilt-Bot，該機(jī)器人可以與物體互動(dòng)并收集物體?；?dòng)的大規(guī)模視聽數(shù)據(jù)集。”

本質(zhì)上，Tilt-Bot是一種自動(dòng)托盤，可以傾斜物體，直到它們碰到托盤的一面墻為止。Pinto和他的同事們在機(jī)械手托盤的墻壁上放置了接觸式麥克風(fēng)，以記錄物體撞擊墻壁時(shí)產(chǎn)生的聲音，并使用高架攝像頭直觀地捕捉每個(gè)物體的運(yùn)動(dòng)。

研究人員收集了與60個(gè)不同對象進(jìn)行的超過15,000次Tilt-Bot交互的視覺和音頻數(shù)據(jù)。這使他們能夠編譯一個(gè)新的圖像和音頻數(shù)據(jù)集，這有助于訓(xùn)練機(jī)器人在動(dòng)作，圖像和聲音之間建立關(guān)聯(lián)。

Pinto和他的同事在論文中使用此數(shù)據(jù)集來探索機(jī)器人應(yīng)用程序中聲音與動(dòng)作之間的關(guān)系，并收集了許多有趣的發(fā)現(xiàn)。首先，他們發(fā)現(xiàn)分析物體移動(dòng)和撞擊表面的聲音記錄可以使機(jī)器區(qū)分不同的物體，例如區(qū)分金屬螺絲刀和金屬扳手。