近年來，計算機生成的動物和人類動畫變得越來越詳細和逼真。盡管如此，在角色說話時制作令人信服的面部動畫仍然是一項關鍵挑戰(zhàn)，因為它通常需要成功組合一系列不同的音頻和視頻元素。

TCS Research 的一個計算機科學家團隊最近創(chuàng)建了一個新模型，該模型可以生成高度逼真的說話面部動畫，該動畫將音頻記錄與角色的頭部動作相結合。該模型在 ICVGIP 2021(第十二屆計算機視覺、圖形和圖像處理會議)上發(fā)表的一篇論文中介紹，可用于創(chuàng)建更具說服力的虛擬化身、數字助理和動畫電影。

“為了獲得愉快的觀看體驗，對真實感的感知至關重要，盡管最近的研究取得了進展，但生成逼真的會說話的面孔仍然是一個具有挑戰(zhàn)性的研究問題，”進行這項研究的研究人員之一 Brojeshwar Bhowmick 告訴技術探索。“除了準確的嘴唇同步，逼真的說話人臉動畫還需要其他真實屬性，例如自然眨眼、頭部運動和保留任意目標人臉的身份信息。”

大多數現有的用于生成面部動畫的語音驅動方法都專注于確保嘴唇運動和錄制的語音之間的良好同步，保留角色的身份并確保它偶爾眨眼。其中一些方法還試圖產生令人信服的頭部運動，主要是通過在一個簡短的訓練視頻中模仿人類說話者的動作。

“這些方法從駕駛視頻中得出頭部的運動，這可能與當前的語音內容不相關，因此對于長演講的動畫來說似乎不切實際，”Bhowmick 說。“一般來說，頭部運動很大程度上取決于當前時間窗口的語音韻律信息。”

過去的研究發(fā)現，人類說話者的頭部運動與其聲音的音高和幅度之間存在很強的相關性。這些發(fā)現啟發(fā)了 Bhowmick 和他的同事們創(chuàng)造了一種新方法，該方法可以為面部動畫生成頭部動作，以反映角色的聲音和他/她所說的內容。

在他們之前的一篇論文中，研究人員提出了一種基于生成對抗網絡 (GAN) 的架構，該架構可以生成令人信服的面部說話動畫。雖然這種技術很有前途，但它只能產生揚聲器頭部不動的動畫。

“我們現在開發(fā)了一個完整的語音驅動的逼真面部動畫管道，通過設計一種分層方法來解開運動和紋理學習，生成具有準確口型同步、自然眨眼和逼真頭部運動的說話面部視頻，”Bhowmick 說。“我們在面部標志上學習語音誘導運動，并使用標志來生成動畫視頻幀的紋理。”

Bhowmick 和他的同事創(chuàng)建的新生成模型可以有效地為動畫說話人臉生成語音驅動和逼真的頭部運動，這與說話者的聲音特征和他/她所說的內容密切相關。就像他們過去創(chuàng)建的技術一樣，這種新模型基于 GAN，這是一類機器學習算法，已被發(fā)現在生成人工內容方面非常有前途。

該模型可以識別說話者正在談論的內容以及他/她在特定時間窗口內的語調。隨后，它使用這些信息來產生匹配和相關的頭部運動。

“我們的方法與最先進的方法根本不同，這些方法專注于從目標對象的示例駕駛視頻中生成特定于個人的談話風格，”Bhowmick 說。“鑒于音頻和頭部運動之間的關系不是唯一的，我們的注意力機制試圖了解局部音頻特征對局部頭部運動的重要性，從而隨著時間的推移保持預測平滑，而在測試時不需要任何輸入駕駛視頻。我們還使用元學習來生成紋理，因為它有助于在測試時使用很少的圖像快速適應未知的面孔。”

Bhowmick 和他的同事在一系列基準數據集上評估了他們的模型，并將其性能與過去開發(fā)的最先進技術的性能進行了比較。他們發(fā)現它可以生成非常令人信服的動畫，具有出色的嘴唇同步、自然的眨眼和語音連貫的頭部運動。

Bhowmick 補充說：“我們的工作朝著實現逼真的說話人臉動畫邁進了一步，這些動畫可以轉化為多種現實世界的應用程序，例如數字助理、視頻配音或遠程呈現。” “在我們接下來的研究中，我們計劃將逼真的面部表情和情緒與唇形同步、眨眼和語音連貫的頭部運動相結合。”