加州大學(xué)伯克利分校(UCBerkeley)、蒙特利爾大學(xué)和Mila的研究人員最近開發(fā)了一種分層強化學(xué)習(xí)框架，以提高四足機器人在足球投籃中的精度。這個框架是在arXiv上預(yù)先發(fā)表的一篇論文中介紹的，它被部署在UnitreeA1上，這是一個由UnitreeRobotics開發(fā)的四足機器人。

“人的腿不僅用于運動，還可以用于踢足球等操作，我們希望四足機器人也能夠獲得這種能力，”進行這項研究的研究人員之一李忠宇告訴TechXplore。“機器人界有一個著名的聯(lián)賽叫做‘RoboCup’(機器人世界杯)，幾十年來一直在邀請研究人員訓(xùn)練他們的機器人踢足球比賽。”

最近的進步使得為機器人創(chuàng)建更可靠的硬件和先進的控制算法成為可能。因此，機器人現(xiàn)在變得更加敏捷，并且有可能處理更復(fù)雜的任務(wù)，包括與人類一起踢足球。Li和他的同事開發(fā)的框架可以幫助提高四足機器人在足球比賽中的射門能力。

新框架有兩個關(guān)鍵組成部分：運動控制策略和運動規(guī)劃策略。運動控制組件允許機器人跟蹤其踢腿上腳趾的任意軌跡。另一方面，運動規(guī)劃策略選擇最佳腳趾軌跡以將附近的足球(由外部攝像機檢測到)射擊到目標(biāo)位置(例如，球門柱)。

“我們的設(shè)計使我們能夠?qū)⒕_足球任務(wù)的挑戰(zhàn)分解為兩個子任務(wù)：控制和計劃，”李說。“我們可以首先專注于訓(xùn)練一個可以在硬件上工作的魯棒控制策略，然后重新使用這樣的控制器來學(xué)習(xí)規(guī)劃策略。為了將球精確地射向現(xiàn)實世界中的目標(biāo)，規(guī)劃器使用真實的-機器人射擊真實足球時的世界數(shù)據(jù)。”

Li和他的同事使用A1四足機器人在一系列真實世界的測試中測試了他們的框架。他們發(fā)現(xiàn)它允許機器人以高精度將可變形的足球射向隨機目標(biāo)。這是一項非常復(fù)雜的任務(wù)，因為機器人需要快速擺動其踢腿并在不失去平衡的情況下獲得動力。

“足球帶來了更多挑戰(zhàn)，因為機器人不僅需要處理與可變形球的難以建模的軟接觸，還需要處理球與地面之間滾動摩擦的不確定性，”李說。“我們?yōu)榻鉀Q這些問題而開發(fā)的方法可能對動態(tài)機器人(例如腿式機器人)必須與軟物體(例如球、繩索、皮帶、衣服等)交互的任務(wù)很有用。”

將來，這組研究人員創(chuàng)建的框架可用于提高機器人在足球比賽中的表現(xiàn)，尤其是Robocup。同時，李和他的同事計劃設(shè)計其他框架和機器學(xué)習(xí)模型，以提高機器人在足球比賽其他元素中的表現(xiàn)。

“我們的長期目標(biāo)是開發(fā)有朝一日可以與人類競爭的四足機器人足球運動員，”李補充說。“我們正在使用四足機器人開發(fā)更復(fù)雜的足球技能，希望在不久的將來，我們可以使用四足機器人開始一場完全自主的足球比賽。”