字节跳动终于开源了一个好东西 LatentSync:精准的唇形同步工具 可以根据音频输入,自动调整视频中角色的嘴型,实现精准的口型同步。 直接用声音驱动嘴巴的动作,不需要复杂的中间步骤。 提出了一种“时间对齐”的技术,专门解决画面可能会跳动或不一致的问题。 左:原视频,右:口型同步后 提供了全套工具,可以轻松处理视频和音频,比如调整帧数、检测人脸、去除质量差的视频,保证最终生成的视频效果很好。
字节跳动终于开源了一个好东西 LatentSync:精准的唇形同步工具 可以根据音频输入,自动调整视频中角色的嘴型,实现精准的口型同步。 直接用声音驱动嘴巴的动作,不需要复杂的中间步骤。 提出了一种“时间对齐”的技术,专门解决画面可能会跳动或不一致的问题。 左:原视频,右:口型同步后 提供了全套工具,可以轻松处理视频和音频,比如调整帧数、检测人脸、去除质量差的视频,保证最终生成的视频效果很好。
yihong0618
1天前
我爷爷一开源,你爷爷就自主创新。 这个世界变得越来越诡异了。