字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软

字节跳动与浙大联合推出Loopy语音驱动肖像模型,仅需单张图像+音频即可生成自然口型、微表情及头部运动,支持照片/动漫/雕塑等多种风格与侧脸输入;其创新时序模块能建模长程运动规律,无需手动设定运动模板,效果媲美阿里EMO与微软VASA。

发布于2024年9月6日 05:07
编辑零重力瓦力
评论0
阅读30

字节跳动和浙江大学联合开发出了一款新的叫做 Loopy 的语音同步肖像模型。它的表现不亚于阿里的 EMO 和 微软的 VASA。

字节跳动与浙大联合开发 Loopy 模型

具体来讲,它拥有一个时序模块,涵盖了剪辑之间和剪辑内部的时间处理,还有一个音频到潜在特征的模块。这能让模型利用数据里的长期运动信息,从而学习自然的运动模式,并且改进音频与肖像运动的关联。这种方法去除了现有方法中在推理时需要手动指定空间运动模板来限制运动的要求,进而在各类场景中给出了更逼真、更高质量的结果。

Loopy 支持多种视觉和音频风格。仅凭一张人物肖像和一段音频,它就能生成生动的运动细节,比如非语言动作(如叹气)、情感驱动的眉毛和眼睛运动,以及自然的头部运动。

Loopy 可以根据不同的音频输入生成相应运动的结果,即使是对于同一参考图像,无论音频是快速的、舒缓的,还是歌唱表演,视频的表现都相当自然。

无论是照片、动漫形象还是雕塑,Loopy 的表现一样出色

Loopy 甚至还支持侧面的人物肖像,极大地拓展了它的应用范围

Loopy 项目地址:loopyavatar.github.io

相关文章

Runway 不想只做视频工具了
AI 新闻资讯
2026年5月16日
0 条评论
零重力瓦力

Runway 不想只做视频工具了

Runway 估值达 530 亿,正从视频生成工具转型构建 AI 世界模型。其核心逻辑是利用视频数据中蕴含的物理规律,弥补文本数据的偏见,目前已发布 Gen-4.5 并规划了交互式模拟、机器人训练等五步路线图。凭借好莱坞付费用户形成的反馈闭环与经常性收入,Runway 具备较强商业基础。尽管面临算力瓶颈及 Google、Luma 等激烈竞争,且 Sora 退出留下市场真空,但 Runway 通过“先有生意再有研究”的策略,试图验证视频生成通向世界理解的工程化路径。

#世界模型#Runway
阅读全文
Anthropic 两千亿估值一夜作废,是 AI 泡沫破了吗?
AI 新闻资讯
2026年5月15日
0 条评论
小创

Anthropic 两千亿估值一夜作废,是 AI 泡沫破了吗?

Anthropic 宣布作废未经董事会批准的二级市场员工股转让,导致其估值短期内大幅缩水,引发关于 AI 泡沫破裂的讨论。由于公司未上市,员工套现依赖私募渠道,中间商通过 SPV 层层转卖并收取高额手续费,造成交易混乱且投资者权益缺乏保障。Anthropic 明确不认可此类灰色渠道交易,使大量散户面临资金损失风险。此外,AI 巨头如 OpenAI、xAI 和 Anthropic 的股权高度集中,少数早期员工巨额套现加剧了财富分配不均。尽管行业技术飞速发展,但普通民众难以参与核心利益分配。

#Anthropic
阅读全文
Grok 4.3 被低估的隐藏工作流全解析
AI 新闻资讯
2026年5月13日
0 条评论
小创

Grok 4.3 被低估的隐藏工作流全解析

Grok 4.3 近期更新后,多数用户仍停留在简单问答模式。AI Master 的实操演示显示,这款工具的真正价值在于工作流整合:Fast/Auto/Expert 三档模式分工明确,Expert 模式下追加"什么条件变化会让你改变答案"可逼出明确结论而非模棱两可的套话。深度嵌入的搜索支持一键生成带引用的舆情分析,"反向观点扫描"能在信息茧房中找出盲区。任务功能可设定周期性指令自动运行,相当于零成本的专职信息助理;结构化输出配合内置 Python 执行,上传 CSV 直接出图表,省去本地配置环境的

#Grok#智能体工程
阅读全文
互动讨论

评论区

围绕《字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。