8年前，麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的Ted Adelson研究小組推出了一種名為GelSight的新傳感器技術(shù)，該技術(shù)利用與物體的物理接觸來提供其表面非常詳細(xì)的三維地圖。

現(xiàn)在，通過將GelSight傳感器安裝在機(jī)械臂的夾具上，麻省理工學(xué)院的兩個(gè)團(tuán)隊(duì)為機(jī)器人提供了更高的靈敏度和靈活性。研究人員上周在國際機(jī)器人與自動(dòng)化會(huì)議上發(fā)表了兩篇論文。

在一篇論文中，Adelson的團(tuán)隊(duì)使用GelSight傳感器的數(shù)據(jù)，使機(jī)器人能夠判斷其接觸的表面的硬度 - 如果家用機(jī)器人要處理日常物品，這是一項(xiàng)至關(guān)重要的能力。

另一方面，CSAIL的Russ Tedrake機(jī)器人運(yùn)動(dòng)小組使用GelSight傳感器使機(jī)器人能夠操作比以前更小的物體。

從某些方面來說，GelSight傳感器是解決難題的低技術(shù)解決方案。它由一塊透明橡膠組成 - 其名稱的“凝膠” - 其中一面涂有金屬漆。當(dāng)涂漆面壓在物體上時(shí)，它符合物體的形狀。

金屬涂料使物體的表面反射，因此其幾何形狀變得更容易被計(jì)算機(jī)視覺算法推斷。安裝在橡膠塊涂漆面對面的傳感器上有三個(gè)彩色燈和一個(gè)攝像頭。

“[系統(tǒng)]有不同角度的彩色燈光，然后它有這種反射材料，通過觀察顏色，計(jì)算機(jī)......可以找出那個(gè)東西的三維形狀，”阿德爾森解釋說，約翰和Dorothy Wilson腦與認(rèn)知科學(xué)系視覺科學(xué)教授。

在兩組實(shí)驗(yàn)中，GelSight傳感器安裝在機(jī)器人抓手的一側(cè)，這種裝置有點(diǎn)像鉗子的頭部，但是具有平坦的抓握表面而不是尖頭。

聯(lián)絡(luò)點(diǎn)

對于自主機(jī)器人來說，測量物體的柔軟度或硬度對于決定抓住它們的位置和方式以及它們在移動(dòng)，堆疊或鋪設(shè)在不同表面時(shí)的行為方式至關(guān)重要。觸覺傳感還可以幫助機(jī)器人區(qū)分看起來相似的物體。

在以前的工作中，機(jī)器人試圖通過將物體放置在平坦表面上并輕輕地戳它們以評估物體的硬度來評估物體的硬度。但這并不是人類測量硬度的主要方式。相反，我們的判斷似乎是基于物體和手指之間的接觸面積在我們按壓時(shí)的變化程度。較軟的物體往往會(huì)變平，增加接觸面積。

麻省理工學(xué)院的研究人員采用了相同的方 機(jī)械工程專業(yè)的研究生和阿德爾森集團(tuán)的論文第一作者Wenzhen Yuan使用糖果模具制作了400組硅膠制品，每組16件。在每組中，物體具有相同的形狀但硬度不同，元使用標(biāo)準(zhǔn)工業(yè)規(guī)模測量。

然后她手動(dòng)對每個(gè)物體按下GelSight傳感器并記錄接觸模式隨時(shí)間的變化，從而為每個(gè)物體生成一個(gè)短片。為了使數(shù)據(jù)格式標(biāo)準(zhǔn)化并保持?jǐn)?shù)據(jù)大小易于管理，她從每部電影中提取了五個(gè)幀，在時(shí)間上均勻分布，描述了被按下的對象的變形。

最后，她將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，自動(dòng)尋找接觸模式變化與硬度測量之間的相關(guān)性。由此產(chǎn)生的系統(tǒng)將視頻幀作為輸入，并以非常高的精度產(chǎn)生硬度分?jǐn)?shù)。袁還進(jìn)行了一系列非正式實(shí)驗(yàn)，其中人類受試者觸摸水果和蔬菜并根據(jù)硬度對其進(jìn)行排序。在每種情況下，配備GelSight的機(jī)器人都達(dá)到了相同的排名。

她的兩位論文顧問阿德爾森和機(jī)械工程系高級研究科學(xué)家Mandayam Srinivasan參與了論文。去年夏天，清華大學(xué)本科生陳卓卓訪問了阿德爾森的團(tuán)隊(duì); 和安德魯歐文斯，他在麻省理工學(xué)院攻讀電子工程和計(jì)算機(jī)科學(xué)博士學(xué)位，現(xiàn)在是加州大學(xué)伯克利分校的博士后。

視線受阻

從機(jī)器人步態(tài)集團(tuán)紙誕生的集團(tuán)的經(jīng)驗(yàn)與國防高級研究計(jì)劃局的機(jī)器人挑戰(zhàn)賽(DRC)，其中學(xué)術(shù)和行業(yè)團(tuán)隊(duì)競相發(fā)展，將引導(dǎo)人形機(jī)器人通過一系列相關(guān)的任務(wù)控制系統(tǒng)一個(gè)假設(shè)的緊急情況。

通常，自主機(jī)器人將使用某種計(jì)算機(jī)視覺系統(tǒng)來指導(dǎo)其對其環(huán)境中的對象的操縱。這樣的系統(tǒng)可以提供關(guān)于物體位置的非?？煽康男畔?- 直到機(jī)器人拾取物體為止。特別是如果物體很小，它的大部分將被機(jī)器人的抓手遮擋，使得位置估計(jì)更加困難。因此，在機(jī)器人需要精確地知道物體位置的點(diǎn)處，其估計(jì)變得不可靠。這是麻省理工學(xué)院團(tuán)隊(duì)在剛果民主共和國期間遇到的問題，當(dāng)時(shí)他們的機(jī)器人必須拿起并打開電鉆。

“你可以在我們的視頻中看到DRC，我們花了兩三分鐘開始練習(xí)，”電子工程和計(jì)算機(jī)科學(xué)研究生，新論文第一作者Greg Izatt說。“如果我們有一個(gè)實(shí)時(shí)更新，準(zhǔn)確估計(jì)鉆頭的位置和我們的手相對于它的位置，那將會(huì)更好。”

這就是Robot Locomotion Group轉(zhuǎn)向GelSight的原因。Izatt和他的合著者 - Tedrake，豐田電氣工程和計(jì)算機(jī)科學(xué)，航空航天和機(jī)械工程教授; 阿德爾森; 另外，Tedrake小組的另一名研究生Geronimo Mirano設(shè)計(jì)了控制算法，使用計(jì)算機(jī)視覺系統(tǒng)將機(jī)器人的夾具引向工具，然后在機(jī)器人手持工具后將位置估算轉(zhuǎn)換為GelSight傳感器。

通常，這種方法的挑戰(zhàn)是將視覺系統(tǒng)產(chǎn)生的數(shù)據(jù)與觸覺傳感器產(chǎn)生的數(shù)據(jù)進(jìn)行協(xié)調(diào)。但GelSight本身就是基于攝像頭的，因此與其他觸覺傳感器的數(shù)據(jù)相比，其數(shù)據(jù)輸出更容易與可視化數(shù)據(jù)集成。

在Izatt的實(shí)驗(yàn)中，配備GelSight的夾具的機(jī)器人必須抓住一把小螺絲刀，將其從皮套中取出并將其送回。當(dāng)然，來自GelSight傳感器的數(shù)據(jù)并沒有描述整個(gè)螺絲刀，只是它的一小部分。但I(xiàn)zatt發(fā)現(xiàn)，只要視覺系統(tǒng)對螺絲刀初始位置的估計(jì)精確到幾厘米之內(nèi)，他的算法就可以推斷出GelSight傳感器接觸的螺絲刀的哪一部分，從而確定了螺絲刀在機(jī)器人手中的位置。

“我認(rèn)為GelSight技術(shù)以及其他高帶寬觸覺傳感器將對機(jī)器人產(chǎn)生重大影響，”加州大學(xué)伯克利分校電子工程和計(jì)算機(jī)科學(xué)助理教授謝爾蓋萊文說。“對于人類來說，我們的觸覺是我們驚人的手動(dòng)靈巧的關(guān)鍵因素之一。目前的機(jī)器人缺乏這種靈巧性，并且在操縱物體時(shí)對表面特征的反應(yīng)能力有限。如果你想象在黑暗中摸索燈光開關(guān)，從口袋中提取物體，或者你甚至不用思考就可以做任何其他許多事情 - 這些都依賴于觸摸傳感。“

“軟件終于趕上了我們傳感器的功能，”Levine補(bǔ)充道。“受深度學(xué)習(xí)和計(jì)算機(jī)視覺創(chuàng)新啟發(fā)的機(jī)器學(xué)習(xí)算法可以處理來自傳感器(如GelSight)的豐富感官數(shù)據(jù)，以推斷出對象屬性。在未來，我們將看到這些學(xué)習(xí)方法融入端到端訓(xùn)練的操作技能，這將使我們的機(jī)器人更加靈巧和有能力，并可能幫助我們了解我們自己的觸覺和電機(jī)控制感。“