ElevenLabs 一站式创作平台也正式接入 Seedance 2.0 了,并且和自家的招牌音频生成功能无缝整合。
创作博主 Alec 详细介绍了 Seedance 2.0 带来的各种变化。其中,最直观的是角色一致性。无论跨多少个镜头,面孔和服装都能保持稳定,不再出现那种换帧换人的尴尬。动作方面也引入了真实物理逻辑,重力、动量、碰撞都算进去了,以前那种飘忽感基本消失。帧间闪烁的问题,2.0 里也看不到了,画面稳定性有明显提升。
在 ElevenLabs 中,Seedance 2.0 的输入方式也有不少变化。单次生成最多可以喂进去 12 个文件,支持图片、视频、音频、文本,还有标签系统可以精确指定每个素材的角色,比如用 @image1 定义人物,用 @video1 控制镜头运动,用 @audio1 指定配音或音效。再配上多镜头故事板,可以直接生成连贯的叙事,而不只是一段孤立的片段。
音频同步也是这次重要的突破之一。2.0 把音频和视频放在同一个生成过程里完成,脚步声、关门声都能够和视频完美同步,不需要后期对齐。还有节拍匹配功能,可以上传一段音乐,模型读取节奏后生成的画面会卡在鼓点上,转场也跟着音乐高潮走。做音乐视频的话,这个功能能省掉大量手动剪辑的时间。口型同步支持英语、中文、西班牙语、法语、德语、日语、韩语等 8 种以上语言,因为音画是同步生成的,嘴型和时间节奏的精准度比后期套用还要高。
还有一个细节,2.0 支持对已有视频进行局部重生成,可以只改动某个场景里的元素,例如完整替换掉视频中的某个角色,其余部分保持不动。这对需要反复修改特定画面的创作者来说非常实用。
