預(yù)測(cè)3D人體姿勢(shì)可能不屬于大多數(shù)人的范圍，但機(jī)器人技術(shù)，計(jì)算機(jī)圖形學(xué)和其他主要關(guān)注運(yùn)動(dòng)學(xué)的領(lǐng)域 - 與物體運(yùn)動(dòng)有關(guān)的力學(xué)分支 - 可以從能夠做到這一點(diǎn)的系統(tǒng)中受益。姿勢(shì)預(yù)測(cè)是之前應(yīng)用人工智能(AI)的一項(xiàng)任務(wù)，最近由谷歌推出，但一些先前的工作遇到了障礙：它在不自然的方向拉伸數(shù)字關(guān)節(jié)和骨骼，特別是當(dāng)關(guān)節(jié)旋轉(zhuǎn)時(shí)。

Facebook的人工智能研究部門，谷歌大腦和蘇黎世聯(lián)邦理工學(xué)院的新研究有望解決這個(gè)問(wèn)題，幸運(yùn)的是。在本周發(fā)布在預(yù)印本服務(wù)器Arxiv.org上的一篇論文(“ 基于四元數(shù)的人體運(yùn)動(dòng)神經(jīng)網(wǎng)絡(luò) ”)中，研究人員描述了一個(gè)人工智能系統(tǒng)--QuaterNet--通過(guò)將聯(lián)合旋轉(zhuǎn)表示為稱為四元數(shù)的復(fù)數(shù)系統(tǒng)來(lái)改善姿勢(shì)生成，并通過(guò)懲罰聯(lián)合位置錯(cuò)誤。

正如本文的共同作者所解釋的那樣，循環(huán)神經(jīng)網(wǎng)絡(luò) - 一種能夠?qū)W習(xí)長(zhǎng)期依賴性的AI算法 - 歷來(lái)用于執(zhí)行短期和長(zhǎng)期姿態(tài)預(yù)測(cè)，而卷積神經(jīng)網(wǎng)絡(luò) - 算法非常擅長(zhǎng)于分析視覺(jué)圖像 - 已成功應(yīng)用于長(zhǎng)期生成運(yùn)動(dòng)(從一個(gè)地方移動(dòng)到另一個(gè)地方)。但由于人體姿勢(shì)的固有隨機(jī)性，一個(gè)完美的模型仍然是難以捉摸的。

“人體運(yùn)動(dòng)是一個(gè)具有高度不確定性的隨機(jī)過(guò)程，”研究人員寫道。“對(duì)于給定的過(guò)去，將來(lái)會(huì)有多個(gè)可能的未來(lái)幀序列，并且不確定性會(huì)隨著持續(xù)時(shí)間而增加。”

大多數(shù)模型使用轉(zhuǎn)換運(yùn)算符來(lái)預(yù)測(cè)先前姿勢(shì)的下一個(gè)姿勢(shì)。它們從它們攝取的記錄幀中輸出記錄的目標(biāo)幀，這在大多數(shù)情況下都很有效。但它不會(huì)將它們暴露給自己的錯(cuò)誤，因此會(huì)阻止它們從這些錯(cuò)誤中恢復(fù)。

相比之下，研究人員提出的系統(tǒng)采用卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)查看過(guò)去的幀，隨著時(shí)間的推移學(xué)習(xí)進(jìn)行長(zhǎng)期預(yù)測(cè)，因?yàn)樗饾u暴露于自己的預(yù)測(cè)中。同時(shí)，損失函數(shù) - 將一個(gè)或多個(gè)變量的值映射到實(shí)數(shù)上的函數(shù) - 作為輸入關(guān)節(jié)旋轉(zhuǎn)并計(jì)算每個(gè)關(guān)節(jié)的位置。共同作者說(shuō)，這既改善了模型的穩(wěn)定性，又減少了誤差。

為了驗(yàn)證該模型的短期姿勢(shì)預(yù)測(cè)能力，研究人員采購(gòu)了Human3.6M，這是一個(gè)開(kāi)源3D人體姿勢(shì)數(shù)據(jù)集，包含來(lái)自7名演員執(zhí)行15次動(dòng)作的360萬(wàn)人類姿勢(shì)以及相應(yīng)的圖像。在包含運(yùn)動(dòng)樣本的不同數(shù)據(jù)集上評(píng)估長(zhǎng)期生成測(cè)試。

在短期預(yù)測(cè)任務(wù)中，共同作者報(bào)告了人類3.6M基線的改進(jìn)。并且在長(zhǎng)期姿勢(shì)生成的情況下，其目標(biāo)是在給定平均速度和地面軌跡的情況下生成姿勢(shì)序列，它們將模型表征為“定性地”與最近的工作相比較，同時(shí)允許更好地控制時(shí)間和空間約束。

他們留待未來(lái)的工作將QuaterNet擴(kuò)展到其他與運(yùn)動(dòng)相關(guān)的任務(wù)，例如動(dòng)作識(shí)別或視頻的姿勢(shì)估計(jì)，以及使用“直接在四元數(shù)域中執(zhí)行計(jì)算”的神經(jīng)網(wǎng)絡(luò)。