オーディオドライバーのリップシンク

LatentSyncは、ByteDanceが2023年にオープンソース化した革新的な技術であり、音声駆動型の高精度リップシンクを可能にする。この技術は、音声状態の潜在拡散モデルに基づいており、中間的な動き表現を必要とすることなく、動画内のキャラクターの唇の動きを音声と正確に同期させることができます。 コア機能 エンド・ツー・エンドのリップシンクロ LatentSyncはエンド・ツー・エンドのリップシンクロフレームワークを使用し、安定拡散の力を直接活用して複雑なオーディオビジュアル相関をモデル化し、高精度のリップシンクロを実現します。 時間表現アライメント(TREPA)...