人們很少使用一種感覺來理解世界，但是機(jī)器人通常僅依靠視覺，并且越來越多地依靠觸摸。卡內(nèi)基梅隆大學(xué)的研究人員發(fā)現(xiàn)，通過增加另一種感覺：聽覺，機(jī)器人的知覺可以顯著改善。他們說，這是對聲音與機(jī)器人動(dòng)作之間相互作用的首次大規(guī)模研究，CMU機(jī)器人研究所的研究人員發(fā)現(xiàn)，聲音可以幫助機(jī)器人區(qū)分物體，例如金屬螺絲刀和金屬扳手。聽力還可以幫助機(jī)器人確定引起聲音的動(dòng)作類型，并幫助他們使用聲音預(yù)測新對象的物理屬性。

最近獲得博士學(xué)位的萊雷爾·平托說：“在其他領(lǐng)域的許多初步工作表明，聲音可能有用，但尚不清楚它在機(jī)器人技術(shù)中有多有用。” 在CMU的機(jī)器人專業(yè)學(xué)習(xí)，并將于今年秋天加入紐約大學(xué)。他和他的同事發(fā)現(xiàn)，使用聲音的機(jī)器人成功地將對象分類的概率高達(dá)76%，因此其性能很高。

他補(bǔ)充說，結(jié)果是如此令人鼓舞，以至于為將來的機(jī)器人配備帶工具的拐杖可能會(huì)很有用，使他們能夠輕敲他們想要識別的物體。

研究人員在上個(gè)月的虛擬機(jī)器人科學(xué)與系統(tǒng)會(huì)議上介紹了他們的發(fā)現(xiàn)。其他團(tuán)隊(duì)成員包括機(jī)器人技術(shù)副教授Abhinav Gupta，以及前碩士研究生Dhiraj Gandhi，他現(xiàn)在是Facebook AI Research匹茲堡實(shí)驗(yàn)室的研究科學(xué)家。

為了進(jìn)行研究，研究人員創(chuàng)建了一個(gè)大型數(shù)據(jù)集，同時(shí)記錄了60個(gè)常見物體(例如玩具塊，手動(dòng)工具，鞋子，蘋果和網(wǎng)球)的視頻和音頻，當(dāng)它們在托盤上滑動(dòng)或滾動(dòng)并撞向其側(cè)面時(shí)。此后，他們發(fā)布了該數(shù)據(jù)集，對15,000個(gè)交互進(jìn)行了分類，以供其他研究人員使用。

該團(tuán)隊(duì)使用一種稱為Tilt-Bot的實(shí)驗(yàn)設(shè)備(與Sawyer機(jī)器人的手臂相連的方形托盤)捕獲了這些互動(dòng)。這是建立大型數(shù)據(jù)集的一種有效方式; 他們可以在托盤中放置一個(gè)物體，并讓Sawyer花幾個(gè)小時(shí)在隨機(jī)方向上移動(dòng)托盤，并以不同的傾斜度移動(dòng)攝像機(jī)和麥克風(fēng)記錄每個(gè)動(dòng)作。

他們還使用Sawyer將物體推入表面，從而在托盤之外收集了一些數(shù)據(jù)。

盡管該數(shù)據(jù)集的規(guī)模是空前的，但其他研究人員還研究了智能主體如何從聲音中收集信息。例如，機(jī)器人學(xué)助理教授奧利弗·克魯默(Oliver Kroemer)領(lǐng)導(dǎo)了一項(xiàng)研究，即通過搖晃容器或從鏟子中估計(jì)這些物質(zhì)的流量，使用聲音來估計(jì)諸如大米或面食之類的顆粒物質(zhì)的量。

平托說，聲音對機(jī)器人的有用性也就不足為奇了，盡管他和其他人對聲音的實(shí)用性感到驚訝。他們發(fā)現(xiàn)，例如，機(jī)器人可以利用從一組對象的聲音中學(xué)到的知識來預(yù)測以前看不見的對象的物理特性。

他說：“我認(rèn)為真正令人興奮的是，當(dāng)它失敗時(shí)，它將在您期望失敗的事情上失敗。” 例如，機(jī)器人無法使用聲音來分辨紅色塊或綠色塊之間的差異。“但是，如果它是一個(gè)不同的物體，例如一個(gè)砌塊與一個(gè)杯子，它可能會(huì)弄清楚。”