虚拟角色动画

LatentSync是字节跳动于2023年开源的一项创新技术，旨在实现音频驱动的高精度唇形同步。该技术基于音频条件的潜在扩散模型，能够在无需中间运动表示的情况下，实现视频中人物唇部动作与音频的精准同步。 核心功能 端到端唇同步 LatentSync采用端到端的唇同步框架，直接利用Stable Diffusion的强大功能，建模复杂的视听关联，实现高精度的唇形同步。 时间表示对齐（TREPA） 为解...