Meta 發佈了 audio2photoreal AI 框架，可以通過輸入配音檔生成角色對話場景

Bit News Meta 最近宣佈了一個名為 audio2photoreal 的 AI 框架，它能夠生成一系列逼真的 NPC 角色模型，並藉助現有的畫外音檔自動“對口型同步”和“擺姿勢”角色模型。

官方研報指出，Audio2寫實框架收到配音檔后，會先生成一系列NPC模型，然後利用量化技術和擴散演演演算法生成模型動作，其中量化技術為框架提供動作樣本參考，擴散演演演算法用於提升幀生成的人物動作效果。

對照實驗中有43%的評估者對幀生成的人物對話場景“非常滿意”，因此研究人員認為Audio2逼真框架能夠產生比業內競爭產品“更具活力和表現力”的動作。 據悉，研究團隊現已在 GitHub 上公開了相關代碼和數據集。