教學(xué)機(jī)器人走路是一回事，但是如何幫助他們學(xué)習(xí)如何從蹣跚學(xué)步中恢復(fù)?這是蘇黎世聯(lián)邦理工學(xué)院研究人員在人工智能(AI)的幫助下開(kāi)展的不那么容易的壯舉。在一份新發(fā)表的論文(“ 使用深層強(qiáng)化學(xué)習(xí)的四足機(jī)器人的魯棒恢復(fù)控制器 ”)提交給預(yù)印本服務(wù)器Arxiv.org，他們描述了一個(gè)人工智能系統(tǒng)，它可以幫助機(jī)器人在絆倒后摔倒在地。

研究人員寫(xiě)道：“在跌倒的情況下，動(dòng)物通過(guò)推動(dòng)周圍環(huán)境和四肢擺動(dòng)來(lái)獲得動(dòng)力，顯示出從任何姿勢(shì)中恢復(fù)的顯著能力。” “在腿式機(jī)器人中具有相似的能力將顯著提高其對(duì)抗故障的穩(wěn)健性并擴(kuò)展其在惡劣環(huán)境中的適用性。我們通過(guò)制定四足機(jī)器人強(qiáng)大恢復(fù)機(jī)動(dòng)的控制策略來(lái)解決當(dāng)前工作中的這個(gè)問(wèn)題。“

他們的模型采用了一種稱為深度強(qiáng)化學(xué)習(xí)的人工智能訓(xùn)練技術(shù)，該技術(shù)使用獎(jiǎng)勵(lì)系統(tǒng)將駕駛員推向某些目標(biāo)并控制機(jī)器人的恢復(fù)動(dòng)作。在模擬環(huán)境中單獨(dú)訓(xùn)練四種神經(jīng)網(wǎng)絡(luò)策略(即策略)，然后部署在具有12個(gè)自由度的四腿，狗大小的機(jī)器人ANYmal上。

控制器組件根據(jù)最近的觀察，命令，先前選擇的行為類型和先前的操作等因素，為機(jī)器人的給定情況選擇三種行為中的一種 - 運(yùn)動(dòng)，站立或自動(dòng)扶正。另一個(gè)模塊 - 高度估算器 - 測(cè)量其基礎(chǔ)高度，以防止機(jī)器人偏離航向。

研究人員表示，人工智能驅(qū)動(dòng)的政策避免了手工恢復(fù)規(guī)則和序列的需要，提供了優(yōu)于許多流行控制方案的優(yōu)勢(shì)。此外，他們被證明非常強(qiáng)大，因?yàn)樗麄兡軌蛱幚聿豢深A(yù)測(cè)的情況，例如當(dāng)機(jī)器人的腿被卡在其底部下方時(shí)。

初步結(jié)果令人鼓舞。在機(jī)器人開(kāi)始躺下的50次測(cè)試過(guò)程中，自我扶正政策設(shè)法在五秒內(nèi)恢復(fù)。此外，它甚至在機(jī)器人的基座幾乎顛倒并且其腿被卡在其下方時(shí)也發(fā)現(xiàn)了成功，有時(shí)通過(guò)指示機(jī)器人在嘗試直立柱之前翻轉(zhuǎn)到其側(cè)面。在第二次實(shí)驗(yàn)中，研究人員在行走或站立時(shí)踢了ANYmal，該政策設(shè)法恢復(fù)了47次，僅在機(jī)械四足動(dòng)物的關(guān)節(jié)位置異常高時(shí)失敗。

研究人員承認(rèn)，該系統(tǒng)僅在平地上進(jìn)行了訓(xùn)練和測(cè)試，這意味著當(dāng)面臨陡峭的坡道或崎嶇的地形時(shí)，它可能會(huì)失敗。但是在未來(lái)的工作中，他們計(jì)劃通過(guò)隨機(jī)化模擬環(huán)境來(lái)解決這個(gè)限制。

他們寫(xiě)道：“擬議的控制器展示了涉及多個(gè)地面接觸的動(dòng)態(tài)恢復(fù)機(jī)動(dòng)，由此產(chǎn)生的運(yùn)動(dòng)與模擬的運(yùn)動(dòng)一致。”