實(shí)時二維動畫是一種相當(dāng)新穎而強(qiáng)大的交流形式，它使人類表演者可以實(shí)時控制卡通人物，同時與其他演員或觀眾互動和即興表演。最近的例子包括史蒂芬·科爾伯特(Stephen Colbert)在《后期秀》中采訪卡通客人，荷馬在《辛普森一家》(The Simpsons)的一段節(jié)目中回答觀眾的現(xiàn)場電話提問，阿切爾(Archer)在ComicCon上與現(xiàn)場觀眾交談，以及迪斯尼的《星際大戰(zhàn)：邪惡力量》和My Little Pony通過YouTube或Facebook Live與粉絲主持實(shí)時聊天會話。

制作逼真的，有效的實(shí)時二維動畫需要使用交互式系統(tǒng)，該系統(tǒng)可以自動將人類表演實(shí)時轉(zhuǎn)換為動畫。這些系統(tǒng)的一個關(guān)鍵方面是獲得良好的口型同步，這實(shí)質(zhì)上意味著動畫人物的嘴巴在說話時會適當(dāng)移動，模仿在表演者的嘴巴中觀察到的動作。

良好的口型同步可以使實(shí)時2D動畫更具說服力和功能強(qiáng)大，使動畫角色可以更真實(shí)地體現(xiàn)性能。相反，不良的口型同步通常會破壞角色作為現(xiàn)場表演或?qū)υ拝⑴c者的幻覺。

在最近的論文預(yù)先公布的上的arXiv，兩位研究人員在研究的Adobe和華盛頓大學(xué)推出了深基礎(chǔ)的學(xué)習(xí)互動系統(tǒng)，可自動生成分層2 d動畫人物活唇音同步。他們開發(fā)的系統(tǒng)使用了長期短期記憶(LSTM)模型，一種遞歸神經(jīng)網(wǎng)絡(luò)(RNN)架構(gòu)，該架構(gòu)通常應(yīng)用于涉及對數(shù)據(jù)進(jìn)行分類或處理以及進(jìn)行預(yù)測的任務(wù)。

“由于語音幾乎是每個實(shí)時動畫的主要組成部分，因此我們認(rèn)為在這一領(lǐng)域要解決的最關(guān)鍵的問題是實(shí)時口型同步，這需要將演員的語音轉(zhuǎn)換為動畫角色中相應(yīng)的嘴部動作(即視位序列)。在這項(xiàng)工作中，我們致力于為實(shí)時2D動畫創(chuàng)建高質(zhì)量的口型同步。”進(jìn)行這項(xiàng)研究的兩位研究人員Wilmot Li和Deepali Aneja通過電子郵件告訴TechXplore。

Li是Adobe Research的首席科學(xué)家，擁有博士學(xué)位。計算機(jī)科學(xué)領(lǐng)域的一位學(xué)者，他一直在計算機(jī)圖形學(xué)與人機(jī)交互的交叉點(diǎn)上進(jìn)行廣泛的研究。另一方面，Aneja目前正在完成博士學(xué)位。她是華盛頓大學(xué)計算機(jī)科學(xué)與圖形圖像實(shí)驗(yàn)室的成員。

Li和Aneja開發(fā)的系統(tǒng)使用簡單的LSTM模型，以每秒24幀的速度將流音頻輸入轉(zhuǎn)換為相應(yīng)的視位音素序列，并且延遲不到200毫秒。換句話說，他們的系統(tǒng)允許動畫人物的嘴唇以與人類用戶實(shí)時說話類似的方式移動，而聲音和嘴唇移動之間的延遲小于200毫秒。