LatentSync: 바이트홉의 오픈 소스 AI 립싱크 기술

LatentSync는 2023년 ByteDance가 오픈소스로 공개한 혁신적인 기술로 오디오 기반의 고정밀 입술 동기화를 가능하게 합니다. 이 기술은 오디오 조건의 잠재 확산 모델을 기반으로 하며, 중간 모션 표현 없이도 동영상 속 캐릭터의 입술 움직임을 오디오와 정밀하게 동기화할 수 있습니다.

---

핵심 기능

1. 엔드투엔드 립싱크 동기화
   LatentSync는 스테이블 디퓨전의 강력한 기능을 직접 활용하여 복잡한 시청각 상관관계를 모델링하고 매우 정확한 립싱크를 달성하는 엔드투엔드 립싱크 프레임워크를 사용합니다.
2. 시간 표현 정렬(TREPA)
   시간적 일관성 측면에서 확산 기반 접근법의 단점을 해결하기 위해 LatentSync는 시간적 표현 정렬 기술을 도입했습니다. TREPA는 대규모 자체 감독 비디오 모델에서 추출한 시간적 표현을 활용하여 생성된 프레임을 실제 프레임과 정렬함으로써 립싱크의 정확성을 유지하면서 시간적 일관성을 향상시킵니다.
3. 최적화된 SyncNet 모델
   SyncNet 모델의 아키텍처, 훈련 하이퍼파라미터, 데이터 전처리 방법을 최적화함으로써 LatentSync는 립싱크의 정확도를 크게 향상시켰습니다. HDTF 테스트 세트의 정확도는 91%에서 94%로 향상되었습니다.

---

애플리케이션 시나리오

• 디지털 휴먼 프로덕션잠복 동기화를 사용하면 오디오와 매우 일치하는 디지털 사람의 입술 움직임을 생성하여 가상 앵커 및 가상 비서와 같은 애플리케이션의 사실감을 높일 수 있습니다.
• 포스트 프로덕션영화 및 TV 프로덕션에서 LatentSync는 포스트 더빙 립싱크에 사용하여 수동 조정을 줄이고 제작 효율성을 향상시킬 수 있습니다.
• 게임 캐릭터 애니메이션게임 내 캐릭터에 정확한 립싱크를 제공하여 몰입감 있는 플레이어 경험을 향상시킵니다.

---

사용법

1. 코드 받기LatentSync의 GitHub 프로젝트 페이지로 이동하여 코드를 복제하거나 다운로드하세요.
2. 환경 구성프로젝트에서 제공하는 가이드라인에 따라 필요한 런타임 환경과 종속성을 구성합니다.
3. 모델 교육프로젝트 설명서에 따라 모델을 학습시키거나 제공된 학습 데이터 세트를 사용하여 미리 학습된 모델을 사용합니다.
4. 오디오 입력모델에 대한 입력으로 처리할 오디오 파일을 제공합니다.
5. 비디오 생성: 모델을 실행하여 입력 오디오와 동기화된 입술 움직임의 비디오를 생성합니다.
6. 후처리생성된 동영상을 필요에 따라 후처리 및 편집합니다.

---

도구 기능

• 매우 정확한엔드투엔드 모델 아키텍처를 통해 입술 움직임과 오디오를 고정밀하게 동기화합니다.
• 시간 일관성생성된 동영상의 시간적 일관성을 보장하기 위해 시간 표현 정렬 기법을 도입합니다.
• 오픈 소스 공유오픈 소스 프로젝트인 LatentSync의 코드와 모델 파라미터는 공개적으로 사용 가능하므로 개발자가 쉽게 사용하고 두 번 개발할 수 있습니다.
• 성능 최적화기존 모델의 최적화를 통해 립싱크의 정확도와 모델 수렴 속도가 향상됩니다.

---

LatentSync의 오픈 소스는 오디오 기반 립싱크 기술을 위한 새로운 솔루션을 제공하여 디지털 인물, 영화 및 텔레비전 제작, 게임 애니메이션 분야를 발전시키고 있습니다. 개발자와 연구자들은 이 기술을 사용하여 더욱 사실적이고 자연스러운 가상 캐릭터와 애니메이션을 제작할 수 있습니다.

---

다음 동영상은 LatentSync 사용에 대한 보다 직관적인 튜토리얼을 제공합니다:

LatentSync: ByteDance 오픈 소스 오디오 기반 비디오, 디지털 휴먼 프로덕션 아티팩트