Animación virtual de personajes

LatentSync es una innovadora tecnología de código abierto desarrollada por ByteDance en 2023 que permite una sincronización labial de alta precisión basada en el audio. La tecnología se basa en un modelo de difusión latente de las condiciones de audio y permite sincronizar con precisión los movimientos labiales de los personajes en vídeo con el audio sin necesidad de representaciones de movimiento intermedias. Características principales Sincronización labial de extremo a extremo LatentSync utiliza un marco de sincronización labial de extremo a extremo que aprovecha directamente la potencia de la difusión estable para modelar correlaciones audiovisuales complejas y lograr una sincronización labial de gran precisión. Alineación de representaciones temporales (TREPA) Para resolver...