密歇根大學(xué)的一項(xiàng)新研究可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，以識(shí)別視頻中某個(gè)人的身體部位，而這些人的身體中只有一部分在鏡頭中可見。這項(xiàng)突破性發(fā)展為新的用途打開了一個(gè)龐大的視頻內(nèi)容庫—教人們姿勢背后的含義以及人們與環(huán)境互動(dòng)的不同方式的機(jī)器。

當(dāng)我們看到兩只手在桌子上打字的圖片時(shí)，我們可以推斷出有一個(gè)人附著在那些看不見的地方。根據(jù)他們的手腕角度和桌子的高度，我們甚至可以判斷他們是坐著還是站著。到目前為止，神經(jīng)網(wǎng)絡(luò)模型還不是很好。如果我們希望機(jī)器人和AI能夠通過觀察我們的眼睛就能告訴我們正在做什么，那么他們將需要對(duì)我們的身體在不同環(huán)境中的位置以及不同動(dòng)作通常意味著什么有更深入的了解。

研究領(lǐng)域稱為人體姿勢估計(jì)，其重點(diǎn)是教AI識(shí)別圖像或視頻中人物的位置，最終使他們能夠獨(dú)立地建模這些人物的位置。但是，當(dāng)前的模型通常是在非常干凈的視頻庫中訓(xùn)練的，整個(gè)人都可以看到，并且在只有一部分人可見的情況下拍攝效果很差。

最重要的是，所使用的視頻都帶有標(biāo)簽-本質(zhì)上，這些視頻帶有提供的正確解決方案，以便神經(jīng)網(wǎng)絡(luò)能夠檢查其工作。在這種情況下，這需要人工來明確標(biāo)記顯示人員的關(guān)節(jié)位置。

David Fouhey教授和博士 學(xué)生克里斯·羅克韋爾(Chris Rockwell)看到了這種做法的問題-在上傳到公共網(wǎng)站的龐大視頻內(nèi)容庫中，只有大約4%的人直截了當(dāng)?shù)卣故玖苏麄€(gè)人。而且，當(dāng)然，它們都沒有標(biāo)簽。這意味著視頻的整個(gè)世界幾乎都被這些舊模型所封閉，新的視頻將必須量身定制并手動(dòng)標(biāo)記才能使神經(jīng)網(wǎng)絡(luò)成功。

羅克韋爾說：“這些數(shù)據(jù)集在某種程度上被歸一化，即一個(gè)人處于一定高度，并且他們位于圖像的中心。” “互聯(lián)網(wǎng)上的東西實(shí)際上并不是那樣。”

為了克服這些限制，Rockwell和Fouhey提出了一對(duì)解決方案，該解決方案在2020年歐洲計(jì)算機(jī)視覺會(huì)議上發(fā)表。該技術(shù)最終在神經(jīng)網(wǎng)絡(luò)模型的視頻訓(xùn)練中帶來了兩個(gè)重大突破：使模型能夠在只有一部分人可見的情況下做出良好的預(yù)測，以及在未標(biāo)記的視頻上對(duì)這些模型進(jìn)行自我訓(xùn)練，其中模型可以巧妙地挑出良好的猜測沒有被告知解決方案。

首先，他們必須解決在這些截?cái)嗟娜讼裆嫌?xùn)練的神經(jīng)網(wǎng)絡(luò)性能不佳的問題。為此，他們采取了直觀的步驟來裁剪網(wǎng)絡(luò)的早期培訓(xùn)集，使其看起來更像您在網(wǎng)上找到的視頻。兩人拍攝了一次全身活動(dòng)的視頻，并將其縮小為軀干，頭部或手臂?，F(xiàn)有模型已在這些作物上進(jìn)行了重新訓(xùn)練，然后可以使用互聯(lián)網(wǎng)視頻中的新數(shù)據(jù)生成更合理的輸出。

研究人員指出，該技術(shù)的直接設(shè)計(jì)使該方法在廣泛使用時(shí)更加靈活。