6月7日 消息:昨天，快手公司推出了一款名為「可靈」的全新視頻生成大模型，該模型采用了與Sora相似的技術(shù)路線，并結(jié)合了快手自研的多項(xiàng)技術(shù)創(chuàng)新。這款模型不僅能夠生成長(zhǎng)達(dá)2分鐘、30fps、1080p分辨率的超長(zhǎng)視頻，支持多種寬高比，還能模擬物理世界的特性，精準(zhǔn)建模復(fù)雜運(yùn)動(dòng)。

亮點(diǎn):

1、生成能力強(qiáng)大:

支持長(zhǎng)達(dá)2分鐘的30fps高清視頻生成，分辨率高達(dá)1080p。

支持多種寬高比，包括豎版視頻，非常適合快手的短視頻生態(tài)。

2、運(yùn)動(dòng)和物理模擬:

準(zhǔn)確刻畫復(fù)雜、大幅度的運(yùn)動(dòng)，如公路上奔跑的老虎、宇航員在月球上行走等。

能夠模擬物理特性，如重力、液體流動(dòng)和光學(xué)反射等，生成的畫面更符合真實(shí)物理規(guī)律。

3、應(yīng)用場(chǎng)景廣泛:

從娛樂到教育，可靈的應(yīng)用場(chǎng)景廣泛。

支持文本轉(zhuǎn)視頻、多種控制信息輸入、以及豐富的內(nèi)容控制能力。

「可靈」大模型夠準(zhǔn)確刻畫復(fù)雜、大幅度的時(shí)空運(yùn)動(dòng)，如公路上高速奔跑的老虎，畫面連貫，動(dòng)作協(xié)調(diào)，甚至奔跑過程中軀干的抖動(dòng)也得到了細(xì)致展現(xiàn)。它還能模擬真實(shí)物理世界的特性，比如倒牛奶時(shí)的重力規(guī)律和液面上升，以及光學(xué)上的反射規(guī)律。此外，「可靈」還能真實(shí)反映與真實(shí)物理世界的交互，如小男孩吃漢堡時(shí)齒印的變化等。

以下是官方發(fā)布的視頻案例及提示詞：

prompt:一個(gè)戴眼鏡的中國(guó)男孩在快餐店內(nèi)閉眼享受美味的芝士漢堡

prompt:一名宇航員在月球表面奔跑，低角度鏡頭展現(xiàn)了月球的廣闊背景，動(dòng)作流暢且顯得輕盈

一只戴著眼鏡的兔子在看報(bào)紙

廚師正在切菜

一只藍(lán)色的鸚鵡

技術(shù)特點(diǎn)

1、原生視頻生成技術(shù):

采用類似Sora的DiT結(jié)構(gòu)，用Transformer代替?zhèn)鹘y(tǒng)的卷積網(wǎng)絡(luò)U-Net。

3D VAE網(wǎng)絡(luò)用于時(shí)空同步壓縮，提高重建質(zhì)量和訓(xùn)練性能。

3D Attention機(jī)制用于時(shí)空建模，提升復(fù)雜時(shí)空運(yùn)動(dòng)的建模能力。

2、高質(zhì)量數(shù)據(jù)支持:

構(gòu)建了完備的標(biāo)簽體系，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行精細(xì)化篩選和分布調(diào)整。

專用的視頻描述模型生成精確、詳盡的結(jié)構(gòu)化視頻描述，提升模型的文本指令響應(yīng)能力。

3、高效訓(xùn)練策略:

使用分布式訓(xùn)練集群和優(yōu)化策略提高運(yùn)算效率。

分階段訓(xùn)練策略:初期低分辨率階段側(cè)重?cái)?shù)量，后期高分辨率階段側(cè)重質(zhì)量，確保模型在各階段的優(yōu)化。

實(shí)際應(yīng)用

1、快影APP:

可靈大模型已在快影APP中開啟邀測(cè)，當(dāng)前版本支持生成720P視頻，豎版視頻生成能力即將開放。

2、其他應(yīng)用:

“AI舞王”:上傳全身照，生成人物跟隨音樂跳舞的視頻。

“AI唱跳”:生成跳舞并唱歌的視頻。

未來還將推出圖生視頻功能。

快手在大模型技術(shù)方面動(dòng)作迅速，與多個(gè)高?；蚩蒲袡C(jī)構(gòu)合作發(fā)布了多項(xiàng)關(guān)鍵技術(shù)，為「可靈」大模型積累了深厚的技術(shù)沉淀?，F(xiàn)在，快手的文生視頻功能已正式亮相，期待其在短視頻場(chǎng)景中的應(yīng)用落地。

對(duì)AI視頻創(chuàng)作感興趣的用戶，可以在快影APP中體驗(yàn)「可靈」大模型的功能。

官網(wǎng)地址：https://top.aibase.com/tool/kelingdamoxing