對于人類來說，找到埋在一堆物品下的丟失錢包非常簡單——我們只需從一堆東西中取出東西，直到找到錢包。但對于機器人來說，這項任務(wù)涉及對堆和其中的物體進行復(fù)雜的推理，這是一項艱巨的挑戰(zhàn)。

麻省理工學(xué)院的研究人員此前展示了一種 機械臂，該機械臂 結(jié)合了視覺信息和射頻 (RF) 信號，可以找到帶有 RFID 標簽(反映天線發(fā)送的信號)的隱藏物體。在這項工作的基礎(chǔ)上，他們現(xiàn)在開發(fā)了一種新系統(tǒng)，可以有效地檢索埋在一堆中的任何物體。只要堆中的一些物品有 RFID 標簽，目標物品就不需要被貼上標簽，系統(tǒng)就可以恢復(fù)它。

該系統(tǒng)背后的算法稱為 FuseBot，用于推斷樁下物體的可能位置和方向。然后 FuseBot 找到最有效的方法來移除障礙物并提取目標項目。這種推理使 FuseBot 能夠在一半的時間內(nèi)找到比最先進的機器人系統(tǒng)更多的隱藏物品。

這種速度在電子商務(wù)倉庫中可能特別有用。負責處理退貨的機器人可以使用 FuseBot 系統(tǒng)更有效地在未分類的堆中找到物品，資深作者、電氣工程和計算機科學(xué)系副教授、媒體實驗室信號動力學(xué)組主任 Fadel Adib 說。

“本文首次表明，僅在環(huán)境中存在帶有 RFID 標簽的物品就可以讓您更輕松地以更有效的方式完成其他任務(wù)。我們之所以能夠做到這一點，是因為我們在系統(tǒng)中添加了多模式推理——FuseBot 可以推理視覺和射頻來理解一堆項目，”Adib 補充道。

與Adib 一起 撰寫論文 的是研究助理 Tara Boroushaki，他是第一作者;勞拉·多茲;和納茲納伊姆。該研究將在機器人：科學(xué)與系統(tǒng)會議上發(fā)表。

定位標簽

最近的 一份市場報告 表明，超過 90% 的零售商現(xiàn)在使用 RFID 標簽，但該技術(shù)并不普遍，導(dǎo)致只有一堆堆內(nèi)的一些物品被貼上標簽。

這個問題激發(fā)了該小組的研究。

借助 FuseBot，機械臂使用附加的攝像機和射頻天線從混合堆中檢索未標記的目標物品。該系統(tǒng)使用其相機掃描樁以創(chuàng)建環(huán)境的 3D 模型。同時，它從天線發(fā)送信號以定位 RFID 標簽。這些無線電波可以穿過大多數(shù)固體表面，因此機器人可以“看到”堆的深處。由于沒有標記目標物品，F(xiàn)useBot 知道該物品不能與 RFID 標簽位于完全相同的位置。

算法融合這些信息來更新環(huán)境的 3D 模型并突出目標項目的潛在位置;機器人知道它的大小和形狀。然后系統(tǒng)推斷堆中的物體和 RFID 標簽位置，以確定要移除的物品，目標是找到移動最少的目標物品。

Boroushaki 說，將這種推理融入系統(tǒng)是一項挑戰(zhàn)。

機器人不確定物體在堆下的方向，或者柔軟的物體如何被更重的物體壓在上面變形。它通過概率推理克服了這一挑戰(zhàn)，使用它所知道的對象的大小和形狀及其 RFID 標簽位置來模擬對象可能占據(jù)的 3D 空間。

在刪除項目時，它還使用推理來決定下一個“最好”刪除的項目。

“如果我讓一個人搜索一堆物品，他們很可能會先移除最大的物品，看看下面有什么。機器人的工作與此類似，但它還結(jié)合了 RFID 信息以做出更明智的決定。它問，'如果它從表面移除這個物品，它會對這個堆了解多少?'“Boroushaki 說。

移除物體后，機器人會再次掃描堆并使用新信息優(yōu)化其策略。

檢索結(jié)果

這種推理，以及它對射頻信號的使用，使 FuseBot 比僅使用視覺的最先進系統(tǒng)更具優(yōu)勢。該團隊使用真正的機械臂進行了 180 多項實驗試驗，并使用辦公用品、毛絨玩具和衣服等家居用品堆放。他們改變了堆的大小和每堆中帶有 RFID 標記的物品的數(shù)量。

FuseBot 成功提取目標項目的成功率為 95%，而其他機器人系統(tǒng)的成功率為 84%。它通過減少 40% 的移動來實現(xiàn)這一目標，并且能夠以兩倍以上的速度定位和檢索目標物品。

“通過整合這些射頻信息，我們看到成功率有了很大提高。同樣令人興奮的是，我們能夠與之前系統(tǒng)的性能相媲美，并在目標物品沒有 RFID 標簽的情況下超越它，”Dodds 說。

Boroushaki 補充說，F(xiàn)useBot 可以應(yīng)用于各種設(shè)置，因為執(zhí)行其復(fù)雜推理的軟件可以在任何計算機上實現(xiàn)——它只需要與具有攝像頭和天線的機械臂通信。

在不久的將來，研究人員計劃將更復(fù)雜的模型整合到 FuseBot 中，以便它在可變形物體上表現(xiàn)更好。除此之外，他們還對探索不同的操作很感興趣，例如將物品推開的機械臂。該系統(tǒng)的未來迭代還可以與移動機器人一起使用，該機器人可以搜索多堆丟失的物體。

“我認為這項工作在很多方面都非常令人興奮，并展示了將無線信號技術(shù)的一些進步與機器人技術(shù)緊密結(jié)合的潛力。例如，本文建立的一個關(guān)鍵觀察結(jié)果是，與可見光和紅外線不同，RF 信號可以通過標準材料，如紙板、木材和塑料。該論文進一步利用這一觀察結(jié)果來解決機器人技術(shù)中非常困難的問題，這些問題更傳統(tǒng)的傳感器非常有限，例如在雜亂中尋找物體，”哈佛大學(xué)約翰·A·保爾森學(xué)院計算機科學(xué)助理教授斯蒂芬妮·吉爾說工程和應(yīng)用科學(xué)，誰沒有參與這項研究。“該論文進一步推進了在機器人技術(shù)中使用射頻信號的最新技術(shù)，還考慮了在雜亂中搜索未標記物品的非常困難的情況?？傮w而言，該論文展示了將無線通信技術(shù)集成到機器人傳感和感知任務(wù)中的巨大前景，并為在這個鏡頭下的機器人技術(shù)提供了一個非常令人興奮的前景。”