說起前段時(shí)間斯坦福開源的 Mobile ALOHA 全能家務(wù)機(jī)器人，大家肯定印象深刻，ALOHA 做起家務(wù)活來那是有模有樣:滑蛋蝦仁、蠔油生菜、干貝燒雞，一會(huì)兒功夫速成大餐:

研究團(tuán)隊(duì)來自斯坦福，由三個(gè)人共同打造完成。Zipeng Fu 為項(xiàng)目共同負(fù)責(zé)人，他是斯坦福大學(xué) AI 實(shí)驗(yàn)室的計(jì)算機(jī)科學(xué)博士生，師從 Chelsea Finn 教授;Tony Z. Zhao 也是斯坦福大學(xué)的計(jì)算機(jī)科學(xué)博士生，導(dǎo)師也是 Chelsea Finn。

現(xiàn)在，繼 ALOHA 之后，Zipeng Fu、Chelsea Finn 等人又聯(lián)合推出了一款新的機(jī)器人研究 HumanPlus，不過這次 Tony Z. Zhao 沒有出現(xiàn)在作者欄里，而是在致謝名單上。

HumanPlus 團(tuán)隊(duì)成員。

這款機(jī)器人能夠自主的疊衣服，然而即使是2倍速，動(dòng)作看起來也是慢吞吞:

充當(dāng)倉庫的搬運(yùn)工，準(zhǔn)確的將物品放置在機(jī)器狗背上的籃子里:

給大家表演個(gè)向后跳的節(jié)目，就像人類一樣，扎個(gè)馬步讓自己穩(wěn)妥一點(diǎn):

可能你都不會(huì)彈的鋼琴，但這次機(jī)器人會(huì)了，它不是亂彈一通，仔細(xì)聽還能聽出旋律來:

化身你的乒乓球搭子，來上幾個(gè)回合沒有問題:

像個(gè)電腦新手一樣，在鍵盤上努力的敲出「HELLO WORLD」

打起拳來也是有模有樣

值得一提的是，這次斯坦福團(tuán)隊(duì)公布了論文、機(jī)器人材料清單、數(shù)據(jù)集以及代碼。正如 Tony Z. Zhao 所表示的「這是唯一一篇完全開源的論文，雖然我們處在一個(gè)前沿的研究時(shí)代，但充滿了閉源、競(jìng)爭(zhēng)等其他因素的限制，這個(gè)領(lǐng)域需要更多開放的科學(xué)，而不是酷炫的演示?！?/p>

根據(jù)材料清單我們推測(cè)完成機(jī)器人組裝大約花費(fèi)107，945美元。

研究介紹

論文地址:https://humanoid-ai.github.io/

論文標(biāo)題:HumanPlus: Humanoid Shadowing and Imitation from Humans

長(zhǎng)期以來，人形機(jī)器人因其類似人的形態(tài)而備受關(guān)注。這主要得益于我們周圍的環(huán)境、工具等都是依據(jù)人類形態(tài)而設(shè)計(jì)的，因此人類大小的機(jī)器人在解決人類從事的任務(wù)上潛力巨大。

通過模仿人類，人形機(jī)器人為實(shí)現(xiàn)通用機(jī)器人智能提供了一個(gè)充滿希望的途徑。

然而，在實(shí)際操作中，要讓人形機(jī)器人從以自我為中心的視角學(xué)習(xí)自主技能仍然面臨挑戰(zhàn)。這主要是因?yàn)槿诵螜C(jī)器人在感知和控制方面的復(fù)雜性，以及其在形態(tài)結(jié)構(gòu)和執(zhí)行機(jī)制上與人類之間仍存在的物理差異。此外，還缺乏一套數(shù)據(jù)處理流程，可以讓人形機(jī)器人通過以自我為中心的視角學(xué)習(xí)自主技能。

基于此，斯坦福團(tuán)隊(duì)開發(fā)了一個(gè)全棧系統(tǒng)，用于人形機(jī)器人從人類數(shù)據(jù)中學(xué)習(xí)運(yùn)動(dòng)和自主技能。該研究首先基于40小時(shí)的人體運(yùn)動(dòng)數(shù)據(jù)集，通過強(qiáng)化學(xué)習(xí)在模擬環(huán)境中訓(xùn)練低級(jí)策略。然后將這一策略遷移到現(xiàn)實(shí)世界中，從而允許人形機(jī)器人僅使用 RGB 相機(jī)實(shí)時(shí)跟蹤人體和手部運(yùn)動(dòng)，稱為 Shadowing 系統(tǒng)。

通過 Shadowing，人類操作員可以遠(yuǎn)程操作人形機(jī)器人來收集全身數(shù)據(jù)，以便在現(xiàn)實(shí)世界中學(xué)習(xí)不同的任務(wù)?；谑占降臄?shù)據(jù)，隨后進(jìn)行有監(jiān)督的行為克隆，使用以自我為中心的視角來訓(xùn)練機(jī)器人的技能策略，使人形機(jī)器人能夠通過模仿人類的技能自主完成不同任務(wù)。

研究者在定制的33自由度、高180cm 的人形機(jī)器人上演示了該系統(tǒng)，通過多達(dá)40次演示，該系統(tǒng)可以自主完成諸如穿鞋站立和行走，從倉庫貨架上卸載物品，折疊運(yùn)動(dòng)衫，重新排列物品，打字以及與另一個(gè)機(jī)器人打招呼等任務(wù)，成功率為60-100%。

該研究團(tuán)隊(duì)發(fā)布的機(jī)器人如圖2左側(cè)所示，具有33個(gè)自由度，其中包括兩個(gè)擁有6自由度的手指、兩個(gè)1自由度的手腕和一個(gè)有19自由度的身體（包含:兩個(gè)4自由度的手臂、兩個(gè)5自由度的腿和一個(gè)1自由度的腰部）。

該系統(tǒng)基于 Unitree H1機(jī)器人構(gòu)建，每只手臂集成了 Inspire-Robots RH56DFX Hand，通過定制手腕連接，其中每個(gè)手腕配有一個(gè) Dynamixel 伺服電機(jī)和兩個(gè)推力軸承。手和手腕均通過串行通信控制。

機(jī)器人頭部安裝了兩個(gè) RGB 網(wǎng)絡(luò)攝像頭（Razer Kiyo Pro），向下傾斜50度，瞳距為160毫米。手指可以施加高達(dá)10牛頓的力，而手臂可以舉起重達(dá)7.5公斤的物品。腿部的電機(jī)在操作過程中可以產(chǎn)生高達(dá)360Nm 的瞬時(shí)扭矩。圖2右側(cè)提供了該機(jī)器人的其他技術(shù)規(guī)格信息。

人體部分和手部動(dòng)作使用 SMPL-X 模型進(jìn)行參數(shù)化。為了重定向身體姿態(tài)，研究人員將 SMPL-X 對(duì)應(yīng)的歐拉角復(fù)制到類人模型中，即髖部、膝蓋、腳踝、軀干、肩膀和肘部。機(jī)器人的每個(gè)髖部和肩部關(guān)節(jié)由3個(gè)正交旋轉(zhuǎn)關(guān)節(jié)組成，因此可以視為一個(gè)球形關(guān)節(jié)。機(jī)器人的手指有6個(gè)自由度:每個(gè)食指、中指、無名指和小指各1個(gè)自由度，大拇指2個(gè)自由度。為了重定向手部姿勢(shì)，他們使用中間關(guān)節(jié)的旋轉(zhuǎn)來映射每個(gè)手指的對(duì)應(yīng)歐拉角。并且通過使用前臂和手的全局方向之間的相對(duì)旋轉(zhuǎn)，計(jì)算1自由度的手腕角度。

如圖3所示，身體姿勢(shì)估計(jì)和重定向在 NVIDIA RTX4090GPU 上以每秒25幀的速度運(yùn)行。

實(shí)時(shí)手部姿勢(shì)估計(jì)和重定向:該團(tuán)隊(duì)使用 HaMeR——一個(gè)基于 Transformer 的手部姿態(tài)估計(jì)器，通過單個(gè) RGB 攝像頭進(jìn)行實(shí)時(shí)手部姿態(tài)估計(jì)。手部姿勢(shì)估計(jì)和重定向在 NVIDIA RTX4090GPU 上以每秒10幀的速度運(yùn)行。

該研究將低級(jí)策略 Humanoid Shadowing Transformer 制定為僅解碼器的 Transformer，如圖4左側(cè)所示。

在每個(gè)時(shí)間步中，策略的輸入是人形機(jī)器人的本體感知和目標(biāo)姿態(tài)。策略的輸出是人形機(jī)器人身體關(guān)節(jié)的19維關(guān)節(jié)位置設(shè)定點(diǎn)，這些設(shè)定點(diǎn)隨后通過1000Hz 的 PD 控制器轉(zhuǎn)換為扭矩。

隨機(jī)化模擬環(huán)境和人形機(jī)器人的物理參數(shù)見表2。

如圖3所示，研究者使用單個(gè) RGB 攝像頭實(shí)時(shí)估計(jì)人體和手部姿態(tài)，并將人體姿態(tài)重定向?yàn)轭惾四繕?biāo)姿態(tài)。

如圖1所示，人類操作員站在人形機(jī)器人附近，將他們的實(shí)時(shí)全身運(yùn)動(dòng)投射到人形機(jī)器人上，并使用視線觀察人形機(jī)器人的環(huán)境和行為，確保遠(yuǎn)程操作系統(tǒng)反應(yīng)靈敏。

在被遠(yuǎn)程操作時(shí)，人形機(jī)器人通過雙目 RGB 攝像頭收集第一視角視覺數(shù)據(jù)。通過 shadowing，研究人員為各種現(xiàn)實(shí)場(chǎng)景任務(wù)提供了一條高效的數(shù)據(jù)收集管道，從而避免了模擬環(huán)境中真實(shí) RGB 渲染、精確軟體對(duì)象模擬和多樣化任務(wù)規(guī)范的挑戰(zhàn)。

與其他遠(yuǎn)程操作方法相比，Shadowing 系統(tǒng)更具優(yōu)勢(shì)。