愛丁堡大學(xué)的研究人員已經(jīng)開發(fā)了一種基于深度強(qiáng)化學(xué)習(xí)(RL)的分層框架，該框架可以獲取各種用于控制人形平衡的策略。他們的框架在arXiv上預(yù)先發(fā)表的論文中概述，并在2017年國際人形機(jī)器人國際會議上提出，其框架可以比傳統(tǒng)控制器執(zhí)行更多的類似于人的平衡行為。

當(dāng)站立或行走時(shí)，人類天生并有效地使用了許多技術(shù)來控制不足，以幫助他們保持平衡。這些措施包括腳趾傾斜和腳跟滾動(dòng)，可產(chǎn)生更好的腳底間隙。在類人機(jī)器人中復(fù)制類似的行為可以極大地提高其運(yùn)動(dòng)和運(yùn)動(dòng)能力。

“我們的研究重點(diǎn)是使用深度RL解決類人機(jī)器人的動(dòng)態(tài)運(yùn)動(dòng)，”進(jìn)行這項(xiàng)研究的愛丁堡大學(xué)機(jī)器人與控制講師李志斌博士告訴TechXplore。“過去，運(yùn)動(dòng)主要是使用基于模型的常規(guī)分析方法完成的，基于模型的方法有限，因?yàn)樗鼈冃枰斯ず椭R，并且需要高計(jì)算能力才能在線運(yùn)行。”

與傳統(tǒng)的工程方法相比，機(jī)器學(xué)習(xí)技術(shù)所需的人力和人工調(diào)整更少，從而可以開發(fā)出更有效，更具體的控制器。使用RL的另一個(gè)優(yōu)點(diǎn)是，這些工具的計(jì)算也可以脫機(jī)外包，從而為高尺寸控制系統(tǒng)(如人形機(jī)器人)提供更快的聯(lián)機(jī)性能。