#口型同步

1周前

HeyGen 这波视频翻译升级，我真觉得有点东西。之前 AI 翻译视频，更多还是「能看懂」的水平，这次是往「真假难辨」方向走了一步。 1.口型这块是真的更像真人了不只是正脸那种「官方 demo 姿势」，连侧脸、嘴巴被挡一半、光线不太好的画面，翻译后的嘴型都还挺自然。以前很多工具一转语言就「嘴在念 A、声音在说 B」，现在这个违和感小很多。 2.翻译开始“看懂画面”了以前更多是照着字幕硬翻，现在它会结合画面去理解语境——愤怒场景里的 “no”，和教学视频里的 “no”，语气完全不一样，这次它是真的会去调这个情绪。对做内容的人来说，很关键。 3.原视频烂一点也没那么怕了随手手机拍、环境吵一点，按理说是翻译模型的灾难场景，但他们这次是把「输出音质」拉得很干净，感觉更像是帮你顺手做了个降噪 + 重新录了一遍的感觉。 4.多说话人 + 性别识别也在往「真实对话」靠以前多人的场景最容易出戏：同一段对话里，不同人、不同性别用的是同一副声音。现在能区分说话人、自动配不同音色，多人对话看起来就没那么“翻译腔”了。 5.还有一个比较现实的点：入口已经铺好了现在 iOS App 已经上线，YouTube 贴链接就能翻。API 和网页版也准备开放，对做产品、做自动化工作流的人来说，很容易塞进自己的一套系统里。视频翻译这条赛道，感觉已经从“玩具阶段”，往“生产力工具”那一档迈进了一小步。

OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 657 条信息

#视频翻译 #HeyGen #AI #口型同步 #多语种

1个月前

已经两年了有没有哪些模型能超过wav2lip ？国内的口型同步价格那么贵？

#wav2lip #口型同步 #价格 #国内 #两年

2个月前

三上悠亚说中文，看样子也可以啦…… VidTransAI 又牛逼了，不仅可以实现语音级别的翻译，还能搞定口型同步了这样的话，翻译过来的视频，更符合观众的原生感觉，极度舒适…… 突然一个想法，用它翻译日本小电影，怎么样？

#三上悠亚 #中文 #VidTransAI #语音翻译 #口型同步

10个月前

字节跳动终于开源了一个好东西 LatentSync：精准的唇形同步工具可以根据音频输入，自动调整视频中角色的嘴型，实现精准的口型同步。直接用声音驱动嘴巴的动作，不需要复杂的中间步骤。提出了一种“时间对齐”的技术，专门解决画面可能会跳动或不一致的问题。左：原视频，右：口型同步后提供了全套工具，可以轻松处理视频和音频，比如调整帧数、检测人脸、去除质量差的视频，保证最终生成的视频效果很好。

#字节跳动 #开源 #LatentSync #唇形同步 #音频处理 #视频处理 #口型同步