8年前，麻省理工學(xué)院計算機(jī)科學(xué)與人工智能實(shí)驗室(CSAIL)的Ted Adelson研究小組推出了一種名為GelSight的新傳感器技術(shù)，該技術(shù)利用與物體的物理接觸來提供其表面非常詳細(xì)的三維地圖。

現(xiàn)在，通過將GelSight傳感器安裝在機(jī)械臂的夾具上，麻省理工學(xué)院的兩個團(tuán)隊為機(jī)器人提供了更高的靈敏度和靈活性。研究人員上周在國際機(jī)器人與自動化會議上發(fā)表了兩篇論文。

在一篇論文中，Adelson的團(tuán)隊使用GelSight傳感器的數(shù)據(jù)，使機(jī)器人能夠判斷其接觸的表面的硬度 - 如果家用機(jī)器人要處理日常物品，這是一項至關(guān)重要的能力。

另一方面，CSAIL的Russ Tedrake機(jī)器人運(yùn)動小組使用GelSight傳感器使機(jī)器人能夠操作比以前更小的物體。

從某些方面來說，GelSight傳感器是解決難題的低技術(shù)解決方案。它由一塊透明橡膠組成 - 其名稱的“凝膠” - 其中一面涂有金屬漆。當(dāng)涂漆面壓在物體上時，它符合物體的形狀。

金屬涂料使物體的表面反射，因此其幾何形狀變得更容易被計算機(jī)視覺算法推斷。安裝在橡膠塊涂漆面對面的傳感器上有三個彩色燈和一個攝像頭。

“[系統(tǒng)]有不同角度的彩色燈光，然后它有這種反光材料，通過查看顏色，計算機(jī)......可以找出那個東西的三維形狀，”阿德爾森解釋說，約翰和多蘿西威爾遜視覺科學(xué)教授在腦與認(rèn)知科學(xué)系。

在兩組實(shí)驗中，GelSight傳感器安裝在機(jī)器人抓手的一側(cè)，這種裝置有點(diǎn)像鉗子的頭部，但是具有平坦的抓握表面而不是尖頭。

聯(lián)絡(luò)點(diǎn)

對于自主機(jī)器人來說，測量物體的柔軟度或硬度對于決定抓住它們的位置和方式以及它們在移動，堆疊或鋪設(shè)在不同表面時的行為方式至關(guān)重要。觸覺傳感還可以幫助機(jī)器人區(qū)分看起來相似的物體。

在以前的工作中，機(jī)器人試圖通過將物體放置在平坦表面上并輕輕地戳它們以評估物體的硬度來評估物體的硬度。但這并不是人類測量硬度的主要方式。相反，我們的判斷似乎是基于物體和手指之間的接觸面積在我們按壓時的變化程度。較軟的物體往往會變平，增加接觸面積。

麻省理工學(xué)院的研究人員采用了相同的方 機(jī)械工程專業(yè)的研究生和阿德爾森集團(tuán)的論文第一作者Wenzhen Yuan使用糖果模具制作了400組硅膠制品，每組16件。在每組中，物體具有相同的形狀但硬度不同，元使用標(biāo)準(zhǔn)工業(yè)規(guī)模測量。

然后她手動對每個物體按下GelSight傳感器并記錄接觸模式隨時間的變化，從而為每個物體生成一個短片。為了使數(shù)據(jù)格式標(biāo)準(zhǔn)化并保持?jǐn)?shù)據(jù)大小易于管理，她從每部電影中提取了五個幀，在時間上均勻分布，描述了被按下的對象的變形。

最后，她將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，自動尋找接觸模式變化與硬度測量之間的相關(guān)性。由此產(chǎn)生的系統(tǒng)將視頻幀作為輸入，并以非常高的精度產(chǎn)生硬度分?jǐn)?shù)。袁還進(jìn)行了一系列非正式實(shí)驗，其中人類受試者觸摸水果和蔬菜并根據(jù)硬度對其進(jìn)行排序。在每種情況下，配備GelSight的機(jī)器人都達(dá)到了相同的排名。

她的兩位論文顧問阿德爾森和機(jī)械工程系高級研究科學(xué)家Mandayam Srinivasan參與了論文。去年夏天，清華大學(xué)本科生陳卓卓訪問了阿德爾森的團(tuán)隊; 和安德魯歐文斯，他在麻省理工學(xué)院攻讀電子工程和計算機(jī)科學(xué)博士學(xué)位，現(xiàn)在是加州大學(xué)伯克利分校的博士后。

視線受阻

機(jī)器人運(yùn)動小組的論文源于該小組在國防高級研究計劃局機(jī)器人挑戰(zhàn)賽(DRC)方面的經(jīng)驗，學(xué)術(shù)和行業(yè)團(tuán)隊參與開發(fā)控制系統(tǒng)，通過一系列相關(guān)的任務(wù)來指導(dǎo)人形機(jī)器人。一個假設(shè)的緊急情況。

通常，自主機(jī)器人將使用某種計算機(jī)視覺系統(tǒng)來指導(dǎo)其對其環(huán)境中的對象的操縱。這樣的系統(tǒng)可以提供關(guān)于物體位置的非?？煽康男畔?- 直到機(jī)器人拾取物體為止。特別是如果物體很小，它的大部分將被機(jī)器人的抓手遮擋，使得位置估計更加困難。因此，在機(jī)器人需要精確地知道物體位置的點(diǎn)處，其估計變得不可靠。這是麻省理工學(xué)院團(tuán)隊在剛果民主共和國期間遇到的問題，當(dāng)時他們的機(jī)器人必須拿起并打開電鉆。

“你可以在我們的視頻中看到DRC，我們花了兩三分鐘開始練習(xí)，”電子工程和計算機(jī)科學(xué)研究生，新論文第一作者Greg Izatt說。“如果我們有一個實(shí)時更新，準(zhǔn)確估計鉆頭的位置和我們的手相對于它的位置，那將會更好。”

這就是Robot Locomotion Group轉(zhuǎn)向GelSight的原因。Izatt和他的合著者 - Tedrake，豐田電氣工程和計算機(jī)科學(xué)，航空航天和機(jī)械工程教授; 阿德爾森; 另外，Tedrake小組的另一名研究生Geronimo Mirano設(shè)計了控制算法，使用計算機(jī)視覺系統(tǒng)將機(jī)器人的夾具引向工具，然后在機(jī)器人手持工具后將位置估算轉(zhuǎn)換為GelSight傳感器。

通常，這種方法的挑戰(zhàn)是將視覺系統(tǒng)產(chǎn)生的數(shù)據(jù)與觸覺傳感器產(chǎn)生的數(shù)據(jù)進(jìn)行協(xié)調(diào)。但GelSight本身就是基于攝像頭的，因此與其他觸覺傳感器的數(shù)據(jù)相比，其數(shù)據(jù)輸出更容易與可視化數(shù)據(jù)集成。

在Izatt的實(shí)驗中，配備GelSight的夾具的機(jī)器人必須抓住一把小螺絲刀，將其從皮套中取出并將其送回。當(dāng)然，來自GelSight傳感器的數(shù)據(jù)并沒有描述整個螺絲刀，只是它的一小部分。但I(xiàn)zatt發(fā)現(xiàn)，只要視覺系統(tǒng)對螺絲刀初始位置的估計精確到幾厘米之內(nèi)，他的算法就可以推斷出GelSight傳感器接觸的螺絲刀的哪一部分，從而確定了螺絲刀在機(jī)器人手中的位置。