視頻創(chuàng)作者：想交換背景嗎?自己敲門。Google研究人員一直在研究一種方法，讓您可以使用神經(jīng)網(wǎng)絡(luò)交換視頻背景-無需綠屏。它的滾動出來的YouTube故事移動以有限的方式，說TechCrunch的。Android Headlines的John Anon表示，YouTube創(chuàng)作者可以更改背景以創(chuàng)建更具吸引力的視頻。

Google Research的軟件工程師Valentin Bazarevsky和Andrei Tkachenka宣布了這一消息，標(biāo)題為“移動實時視頻分段”。

視頻內(nèi)容創(chuàng)建者知道，可以將場景的背景與被視為兩個不同層的背景分開。進(jìn)行此操作是為了獲得心情，或者插入一個有趣的位置或增強(qiáng)消息的影響力。

谷歌研究網(wǎng)站上的兩者說，這項操作“是一項耗時的手動過程(例如，藝術(shù)家對每一幀進(jìn)行旋轉(zhuǎn)攝影)，或者需要一個帶有綠屏的工作室環(huán)境來進(jìn)行實時背景去除(這種技術(shù)稱為色度技術(shù))。鍵控”。

翻譯：《數(shù)字趨勢》雜志的希拉里·格里戈尼斯(Hillary Grigonis)說：“替換視頻背景通常需要使用先進(jìn)的桌面軟件和大量的空閑時間，或者是配備綠色屏幕的成熟工作室。”

現(xiàn)在，兩者宣布了一項新技術(shù)，它將在手機(jī)上運(yùn)行。

他們的技術(shù)將使創(chuàng)作者無需專門的設(shè)備即可替換和修改背景。

他們稱這是YouTube專門為YouTube創(chuàng)作者設(shè)計的新型輕量級視頻格式。

他們在3月1日發(fā)布了“通過將這項技術(shù)集成到故事中，對YouTube應(yīng)用進(jìn)行精確，實時的設(shè)備上移動視頻細(xì)分”的公告。

他們是如何做到的?阿農(nóng)說：“這一切的關(guān)鍵在于機(jī)器學(xué)習(xí)。”

Bazarevsky和Tkachenka說，他們利用“機(jī)器學(xué)習(xí)使用卷積神經(jīng)網(wǎng)絡(luò)解決語義分割任務(wù)”。

翻譯：“谷歌正在開發(fā)一種可以通過智能手機(jī)攝像頭實時工作的人工智能替代品，”格里戈尼斯寫道。

兩位工程師描述了適用于手機(jī)的架構(gòu)和培訓(xùn)過程。他們牢記“移動解決方案應(yīng)該是輕量級的，并且其運(yùn)行速度應(yīng)比現(xiàn)有的最新照片分割模型至少快10-30倍”。

至于數(shù)據(jù)集，它們“注釋了成千上萬張圖像”。這些捕獲了各種各樣的前景姿勢和背景設(shè)置。

Grigonis說：“利用該數(shù)據(jù)集，該小組訓(xùn)練了該程序以將背景與前景分開。”

TechCrunch的Devin Coldewey表示：“網(wǎng)絡(luò)學(xué)會了選擇頭部和肩膀的共同特征，并且進(jìn)行了一系列優(yōu)化，降低了處理數(shù)據(jù)所需的數(shù)據(jù)量。”

Digital Trends解釋了它的工作原理：“一旦軟件在第一張圖像上遮蔽了背景，程序就會使用相同的遮罩來預(yù)測下一幀的背景。當(dāng)下一幀與第一幀相比只有很小的調(diào)整時...程序?qū)φ谡诌M(jìn)行少量調(diào)整。當(dāng)下一幀與上一幀有很大不同時...軟件將完全放棄該遮罩預(yù)測并創(chuàng)建一個新的遮罩。”

正如他們在Google Research博客上所說的那樣，他們工作的最終結(jié)果是“我們的網(wǎng)絡(luò)在移動設(shè)備上的運(yùn)行速度非?？?，在iPhone 7上達(dá)到了100+ FPS，在Pixel 2上達(dá)到了40+ FPS(實現(xiàn)了94.8%的IOU我們的驗證數(shù)據(jù)集)，在YouTube故事中提供了各種流暢運(yùn)行和自適應(yīng)效果。”

下一步是什么?

它是限量版。“我們的近期目標(biāo)是利用YouTube故事中有限的推出來測試我們在第一組效果上的技術(shù)。隨著我們將細(xì)分技術(shù)改進(jìn)和擴(kuò)展到更多標(biāo)簽，我們計劃將其集成到Google的更廣泛的增強(qiáng)現(xiàn)實服務(wù)中。”