復旦大學與百度攜手推出全新AI模型——Hallo2，該模型已正式在GitHub開源。Hallo2能夠生成長達數(shù)小時、分辨率為4K的人物動畫，相較于前代模型，實現(xiàn)了顯著提升。

Hallo2模型基于latent diffusion models構建，引入了數(shù)據(jù)增強方法，如patch-drop和高斯噪聲，有效提升了長時間視頻的視覺一致性和時間連貫性。同時，該模型還結合了向量量化生成對抗網(wǎng)絡和時間對齊技術，確保了高分辨率視頻的質(zhì)量和流暢性。

Hallo2還創(chuàng)新性地將可調(diào)整的語義文本標簽的肖像表情作為條件輸入，提高了生成內(nèi)容的可控性和多樣性。據(jù)項目頁面介紹，Hallo2是首個實現(xiàn)4K分辨率并生成長達1小時音頻驅動人像圖像動畫的方法，且可通過文本提示進行增強。

附Hallo2項目地址。