對于人類來說，找到埋在一堆物品下的丟失錢包非常簡單——我們只需從一堆東西中取出東西，直到找到錢包。但對于機(jī)器人來說，這項(xiàng)任務(wù)涉及對堆和其中的物體進(jìn)行復(fù)雜的推理，這是一項(xiàng)艱巨的挑戰(zhàn)。

麻省理工學(xué)院的研究人員之前展示了一種機(jī)械臂，它結(jié)合了視覺信息和射頻(RF)信號，以找到帶有RFID標(biāo)簽(反射天線發(fā)送的信號)標(biāo)記的隱藏物體。在這項(xiàng)工作的基礎(chǔ)上，他們現(xiàn)在開發(fā)了一種新系統(tǒng)，可以有效地檢索埋在一堆中的任何物體。只要堆中的一些物品有RFID標(biāo)簽，目標(biāo)物品就不需要被貼上標(biāo)簽，系統(tǒng)就可以恢復(fù)它。

該系統(tǒng)背后的算法稱為FuseBot，用于推斷樁下物體的可能位置和方向。然后FuseBot找到最有效的方法來移除障礙物并提取目標(biāo)項(xiàng)目。這種推理使FuseBot能夠在一半的時間內(nèi)找到比最先進(jìn)的機(jī)器人系統(tǒng)更多的隱藏物品。

這種速度在電子商務(wù)倉庫中可能特別有用。負(fù)責(zé)處理退貨的機(jī)器人可以使用FuseBot系統(tǒng)更有效地在未分類的堆中找到物品，資深作者、電氣工程和計(jì)算機(jī)科學(xué)系副教授、媒體實(shí)驗(yàn)室信號動力學(xué)組主任FadelAdib說。

“本文首次表明，環(huán)境中僅存在帶有RFID標(biāo)簽的物品就可以讓您更輕松地以更有效的方式完成其他任務(wù)。我們之所以能夠做到這一點(diǎn)，是因?yàn)槲覀兲砑恿讼到y(tǒng)的多模式推理——FuseBot可以推理視覺和射頻來理解一堆項(xiàng)目，”Adib補(bǔ)充道。

與Adib一起撰寫論文的是研究助理TaraBoroushaki，他是第一作者;勞拉·多茲;和納茲納伊姆。該研究將在機(jī)器人：科學(xué)與系統(tǒng)會議上發(fā)表。

定位標(biāo)簽

最近的一份市場報(bào)告表明，超過90%的零售商現(xiàn)在使用RFID標(biāo)簽，但該技術(shù)并不普遍，導(dǎo)致只有一堆堆內(nèi)的一些物品被貼上標(biāo)簽。

這個問題激發(fā)了該小組的研究。

借助FuseBot，機(jī)械臂使用附加的攝像機(jī)和射頻天線從混合堆中檢索未標(biāo)記的目標(biāo)物品。該系統(tǒng)使用其相機(jī)掃描樁以創(chuàng)建環(huán)境的3D模型。同時，它從天線發(fā)送信號以定位RFID標(biāo)簽。這些無線電波可以穿過大多數(shù)固體表面，因此機(jī)器人可以“看到”堆的深處。由于沒有標(biāo)記目標(biāo)物品，F(xiàn)useBot知道該物品不能與RFID標(biāo)簽位于完全相同的位置。

算法融合這些信息來更新環(huán)境的3D模型并突出目標(biāo)項(xiàng)目的潛在位置;機(jī)器人知道它的大小和形狀。然后系統(tǒng)推斷堆中的物體和RFID標(biāo)簽位置，以確定要移除的物品，目標(biāo)是找到移動最少的目標(biāo)物品。

Boroushaki說，將這種推理融入系統(tǒng)是一項(xiàng)挑戰(zhàn)。

機(jī)器人不確定物體在堆下的方向，或者柔軟的物體如何被更重的物體壓在上面變形。它通過概率推理克服了這一挑戰(zhàn)，使用它所知道的對象的大小和形狀及其RFID標(biāo)簽位置來模擬對象可能占據(jù)的3D空間。

該機(jī)器人系統(tǒng)使用射頻信號、計(jì)算機(jī)視覺和復(fù)雜的推理來有效地找到隱藏在一堆之下的物品。圖片來源：麻省理工學(xué)院媒體實(shí)驗(yàn)室JamesDay

在刪除項(xiàng)目時，它還使用推理來決定下一個“最好”刪除的項(xiàng)目。

“如果我讓人類搜索一堆物品，他們很可能會先取出最大的物品，看看下面有什么。機(jī)器人所做的與此類似，但它還結(jié)合了RFID信息，以便做出更明智的決定。它問道，“如果它從表面移除這個物品，它對這堆東西的了解會更多嗎?'”Boroushaki說。

移除物體后，機(jī)器人會再次掃描堆并使用新信息優(yōu)化其策略。

檢索結(jié)果

這種推理，以及它對射頻信號的使用，使FuseBot比僅使用視覺的最先進(jìn)系統(tǒng)更具優(yōu)勢。該團(tuán)隊(duì)使用真正的機(jī)械臂和一堆家用物品(如辦公用品、毛絨玩具和衣服)進(jìn)行了180多項(xiàng)實(shí)驗(yàn)試驗(yàn)。他們改變了堆的大小和每堆中帶有RFID標(biāo)記的物品的數(shù)量。

FuseBot成功提取目標(biāo)項(xiàng)目的成功率為95%，而其他機(jī)器人系統(tǒng)的成功率為84%。它通過減少40%的移動來實(shí)現(xiàn)這一目標(biāo)，并且能夠以兩倍以上的速度定位和檢索目標(biāo)物品。

“我們看到成功率有了很大提高?？吹轿覀兡軌蚺c之前系統(tǒng)的性能相匹配，并在目標(biāo)物品沒有RFID的情況下超越它，這也令人興奮。標(biāo)簽，”多茲說。

Boroushaki補(bǔ)充說，F(xiàn)useBot可以應(yīng)用于各種設(shè)置，因?yàn)閳?zhí)行其復(fù)雜推理的軟件可以在任何計(jì)算機(jī)上實(shí)現(xiàn)——它只需要與具有攝像頭和天線的機(jī)械臂通信。

在不久的將來，研究人員計(jì)劃將更復(fù)雜的模型整合到FuseBot中，以便它在可變形物體上表現(xiàn)更好。除此之外，他們還對探索不同的操作很感興趣，例如將物品推開的機(jī)械臂。該系統(tǒng)的未來迭代還可以與移動機(jī)器人一起使用，該機(jī)器人可以搜索多堆丟失的物體。