人工智能技術(shù)公司 Sync Labs 近日通過(guò) Twitter 宣布推出其最新產(chǎn)品 Lipsync-2，這款模型被譽(yù)為“全球首個(gè)零-shot嘴型同步模型”，無(wú)需額外訓(xùn)練或微調(diào)即可保留演講者的獨(dú)特風(fēng)格。這一突破性技術(shù)在真實(shí)感、表現(xiàn)力、控制力、質(zhì)量和速度方面均實(shí)現(xiàn)了顯著提升，適用于真人視頻、動(dòng)畫(huà)以及AI生成的內(nèi)容。

Lipsync-2的創(chuàng)新特性

根據(jù) Sync Labs 在4月1日發(fā)布的 Twitter 消息，Lipsync-2的核心亮點(diǎn)在于其“零-shot”能力，即無(wú)需針對(duì)特定演講者進(jìn)行預(yù)訓(xùn)練，模型便可即時(shí)學(xué)習(xí)并生成符合其獨(dú)特說(shuō)話風(fēng)格的嘴型同步效果。這一特性顛覆了傳統(tǒng)嘴型同步技術(shù)對(duì)大量訓(xùn)練數(shù)據(jù)的需求，使得內(nèi)容創(chuàng)作者能夠更高效地應(yīng)用該技術(shù)。

此外，Sync Labs 還透露，Lipsync-2在多個(gè)維度上實(shí)現(xiàn)了技術(shù)飛躍。無(wú)論是真人視頻、動(dòng)畫(huà)角色，還是AI生成的人物，Lipsync-2都能提供更高的真實(shí)感和表現(xiàn)力。

新增控制功能:溫度參數(shù)

除了零-shot能力，Lipsync-2引入了一項(xiàng)名為“溫度”（temperature）的控制功能。這一參數(shù)允許用戶調(diào)節(jié)嘴型同步的表現(xiàn)程度，從簡(jiǎn)潔自然的同步效果到更具夸張表現(xiàn)力的生成效果，滿足不同場(chǎng)景的需求。目前，這一功能處于私人測(cè)試階段，僅逐步向付費(fèi)用戶開(kāi)放。

應(yīng)用前景:多語(yǔ)言教育與內(nèi)容創(chuàng)作

Sync Labs 在4月3日的 Twitter 帖子中進(jìn)一步展示了 Lipsync-2的潛在應(yīng)用場(chǎng)景，稱其“在準(zhǔn)確性、風(fēng)格和表現(xiàn)力上表現(xiàn)出色”，并提出“讓每場(chǎng)講座都能以每種語(yǔ)言呈現(xiàn)”的愿景。這一技術(shù)不僅可用于視頻翻譯和字級(jí)編輯，還能助力角色重新動(dòng)畫(huà)化，甚至支持逼真的AI用戶生成內(nèi)容（UGC），為教育、娛樂(lè)和營(yíng)銷(xiāo)領(lǐng)域帶來(lái)革命性變化。

行業(yè)反響與未來(lái)期待

Lipsync-2的發(fā)布迅速引發(fā)了行業(yè)關(guān)注。Sync Labs 表示，該模型已在 fal 平臺(tái)上開(kāi)放體驗(yàn)，用戶可通過(guò)訪問(wèn) fal 的模型庫(kù)一探究竟。自4月1日宣布以來(lái)，Twitter 上關(guān)于 Lipsync-2的討論持續(xù)升溫，許多用戶對(duì)其跨領(lǐng)域應(yīng)用的潛力表示期待。

作為人工智能視頻技術(shù)的先鋒企業(yè)，Sync Labs 通過(guò) Lipsync-2再次證明了其在創(chuàng)新領(lǐng)域的領(lǐng)導(dǎo)地位。隨著該技術(shù)的逐步推廣，內(nèi)容創(chuàng)作的門(mén)檻或?qū)⑦M(jìn)一步降低，而觀眾也將享受到更加自然、沉浸式的視聽(tīng)體驗(yàn)。