站長之家（ChinaZ.com）6月4日 消息:全球多媒體巨頭 Adobe 與馬里蘭大學(xué)的研究人員合作推出了新的超分辨率視頻模型 VideoGigaGAN。該模型兼顧幀率連貫性和豐富細(xì)節(jié)，解決了當(dāng)前超分辨率視頻模型的難題。

在過去的超分辨率視頻轉(zhuǎn)換中，存在兩大難題:一是保持輸出視頻幀在時(shí)間上的連貫性，確保幀到幀之間平滑過渡，不出現(xiàn)閃爍或抖動(dòng)的情況;二是在放大的視頻幀中重建高頻細(xì)節(jié)，提供清晰和逼真的紋理效果。然而，目前的超分辨率視頻模型雖然在保持時(shí)間連貫性方面取得了進(jìn)展，但以犧牲圖像清晰度為代價(jià)，整體模糊缺乏更加生動(dòng)的細(xì)節(jié)和紋理。

VideoGigaGAN 是基于 Adobe、卡內(nèi)基梅隆大學(xué)和浦項(xiàng)科技大學(xué)之前推出的大規(guī)模圖像超分辨率模型 GigaGAN 的基礎(chǔ)之上開發(fā)而成。該模型通過添加時(shí)序卷積和自注意力層，將 GigaGAN 模型從2D 圖像擴(kuò)展為3D 視頻模型，同時(shí)引入了光流引導(dǎo)模塊，更好地對齊不同幀的特征，提高視頻的時(shí)間一致性和細(xì)節(jié)豐富性。

時(shí)序卷積模塊使模型能夠捕捉視頻幀之間的時(shí)間依賴性，從而提高超分辨率視頻的時(shí)間一致性。自注意力層在解碼器塊中提取空間上的細(xì)節(jié)和紋理信息，同時(shí)在時(shí)間上增強(qiáng)一致性。光流引導(dǎo)模塊利用光流來預(yù)測視頻幀中的像素級(jí)運(yùn)動(dòng)，保持特征的空間一致性，生成清晰的超分辨率視頻。

VideoGigaGAN 的技術(shù)原理：

基于 GigaGAN：VideoGigaGAN 基于大規(guī)模圖像超分辨率模型 GigaGAN，通過將其擴(kuò)展為視頻模型來實(shí)現(xiàn)視頻超分辨率處理。

時(shí)域注意力：在解碼器塊中添加時(shí)域注意力層，以確保在視頻超分辨率處理過程中保持時(shí)域一致性。

特征傳播模塊：利用特征傳播模塊來增強(qiáng)一致性，將特征從視頻的不同幀之間進(jìn)行傳播，以保持視頻的連貫性。

抗鋸齒處理：通過在編碼器的下采樣層中引入抗鋸齒模塊，有效抑制視頻中的鋸齒狀偽影，改善視覺效果。

細(xì)節(jié)補(bǔ)償：通過直接將高頻特征通過跳躍連接傳輸?shù)浇獯a器層，以補(bǔ)償在模糊處理過程中丟失的細(xì)節(jié)。

通過以上技術(shù)原理，VideoGigaGAN 能夠在視頻超分辨率處理中實(shí)現(xiàn)高質(zhì)量的細(xì)節(jié)豐富的輸出，并保持時(shí)域一致性。

VideoGigaGAN 具有以下功能特點(diǎn)：

視頻超分辨率：能夠?qū)⒌头直媛实囊曨l提升至高分辨率，增加視頻細(xì)節(jié)和清晰度。

時(shí)域一致性：在進(jìn)行視頻超分辨率處理時(shí)，能夠保持視頻的時(shí)域一致性，避免出現(xiàn)時(shí)間上的不連續(xù)或跳躍。

豐富的細(xì)節(jié)處理：能夠處理視頻中的豐富細(xì)節(jié)，包括紋理、邊緣和高頻信息，提升視頻質(zhì)量。

抗鋸齒處理：能夠有效抑制視頻中出現(xiàn)的鋸齒狀偽影，改善視頻的視覺效果。

通用性：能夠處理不同類型的視頻內(nèi)容，適用于多種視頻處理場景。

高質(zhì)量輸出：生成的超分辨率視頻具有更高的質(zhì)量和清晰度，可用于多種應(yīng)用領(lǐng)域。

VideoGigaGAN 可以在多種應(yīng)用場景中發(fā)揮作用，包括但不限于：

1. 視頻內(nèi)容制作：提高視頻內(nèi)容的清晰度和細(xì)節(jié)，使得視頻制作過程中可以處理低分辨率素材，并生成更高質(zhì)量的視頻作品。

2. 視頻監(jiān)控和安全領(lǐng)域：對于監(jiān)控?cái)z像頭捕捉的低分辨率視頻進(jìn)行超分辨率處理，從而提高監(jiān)控系統(tǒng)的效能和識(shí)別能力。

3. 視頻通訊和會(huì)議：在視頻通話和遠(yuǎn)程會(huì)議中，對低分辨率視頻進(jìn)行提升，改善視頻質(zhì)量，提升用戶體驗(yàn)。

4. 醫(yī)療影像：對于醫(yī)學(xué)圖像和視頻進(jìn)行超分辨率處理，提高醫(yī)療影像的清晰度和診斷準(zhǔn)確性。

5. 視頻內(nèi)容分發(fā)：對于在線視頻平臺(tái)或內(nèi)容提供商，可以使用 VideoGigaGAN 提高視頻質(zhì)量，提供更清晰的視頻內(nèi)容給用戶。

產(chǎn)品入口：https://top.aibase.com/tool/videogigagan