可以為黑白照片著色的人工智能并不是什么新鮮事，但谷歌的研究人員已經(jīng)更進(jìn)了一步。他們創(chuàng)造了一種機(jī)器學(xué)習(xí)系統(tǒng)，不僅可以為黑白視頻添加顏色，而且還可以將這些顏色限制在給定框架中的特定物體，人物和寵物上，就像兒童在翻書的線條中著色一樣。

“跟蹤視頻中的對(duì)象是計(jì)算機(jī)視覺中的一個(gè)基本問題，對(duì)于活動(dòng)識(shí)別，對(duì)象交互或視頻風(fēng)格化等應(yīng)用至關(guān)重要，”該項(xiàng)目首席研究員Carl Vondrick在博客文章中寫道。“但是，教一臺(tái)機(jī)器來直觀地跟蹤物體是一項(xiàng)挑戰(zhàn)，部分原因是因?yàn)樗枰糜谟?xùn)練的大型標(biāo)記跟蹤數(shù)據(jù)集，這對(duì)于大規(guī)模注釋是不切實(shí)際的。

在一篇名為“ 通過著色視頻跟蹤出現(xiàn) ”的論文中，科學(xué)家描述了一種卷積神經(jīng)網(wǎng)絡(luò) - 一種在結(jié)構(gòu)上非常適合對(duì)象跟蹤和視頻穩(wěn)定的神經(jīng)網(wǎng)絡(luò) - 學(xué)習(xí)通過遮擋(即前景地形)跟蹤多個(gè)對(duì)象和其他障礙)，并且“保持穩(wěn)健”而不需要任何標(biāo)記的訓(xùn)練數(shù)據(jù)。

第一步是教算法對(duì)灰度電影著色。研究人員從Kinetics數(shù)據(jù)集中抓取了一些片段- 這是一系列YouTube視頻，涵蓋了“各種以人為本的行動(dòng)” - 并將第一幀轉(zhuǎn)換為黑白。然后，他們訓(xùn)練神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)后續(xù)幀中的原始顏色，結(jié)果證明是尤里卡時(shí)刻：因?yàn)槟Ｐ捅仨氈匦轮苿?dòng)的物體和區(qū)域，所以它實(shí)際上被迫學(xué)習(xí)如何跟蹤這些物體和區(qū)域。

學(xué)習(xí)從單一參考框架中復(fù)制顏色需要模型學(xué)習(xí)內(nèi)部指向正確的區(qū)域，以便復(fù)制正確的顏色，”Vondrick寫道。“這迫使模型學(xué)習(xí)一種我們可用于跟蹤的顯式機(jī)制。”

生成的模型可以對(duì)視頻第一幀中指定的任何區(qū)域進(jìn)行選項(xiàng)，如果給定參考點(diǎn)，甚至可以跟蹤人體姿勢(shì)。(研究人員使用它來模擬人體關(guān)節(jié)骨架。)更令人印象深刻的是，它優(yōu)于幾種最先進(jìn)的著色技術(shù)。

我們的研究結(jié)果表明，視頻著色提供的信號(hào)可用于學(xué)習(xí)如何在沒有監(jiān)督的情況下跟蹤視頻中的對(duì)象，”Vondrick寫道。“此外，我們發(fā)現(xiàn)我們系統(tǒng)的故障與視頻著色失敗有關(guān)，這表明進(jìn)一步改進(jìn)視頻著色模型可以推進(jìn)自我監(jiān)督跟蹤的進(jìn)展