字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软

字节跳动与浙大联合推出Loopy语音驱动肖像模型,仅需单张图像+音频即可生成自然口型、微表情及头部运动,支持照片/动漫/雕塑等多种风格与侧脸输入;其创新时序模块能建模长程运动规律,无需手动设定运动模板,效果媲美阿里EMO与微软VASA。

发布于2024年9月6日 05:07
编辑零重力瓦力
评论0
阅读30

字节跳动和浙江大学联合开发出了一款新的叫做 Loopy 的语音同步肖像模型。它的表现不亚于阿里的 EMO 和 微软的 VASA。

字节跳动与浙大联合开发 Loopy 模型

具体来讲,它拥有一个时序模块,涵盖了剪辑之间和剪辑内部的时间处理,还有一个音频到潜在特征的模块。这能让模型利用数据里的长期运动信息,从而学习自然的运动模式,并且改进音频与肖像运动的关联。这种方法去除了现有方法中在推理时需要手动指定空间运动模板来限制运动的要求,进而在各类场景中给出了更逼真、更高质量的结果。

Loopy 支持多种视觉和音频风格。仅凭一张人物肖像和一段音频,它就能生成生动的运动细节,比如非语言动作(如叹气)、情感驱动的眉毛和眼睛运动,以及自然的头部运动。

Loopy 可以根据不同的音频输入生成相应运动的结果,即使是对于同一参考图像,无论音频是快速的、舒缓的,还是歌唱表演,视频的表现都相当自然。

无论是照片、动漫形象还是雕塑,Loopy 的表现一样出色

Loopy 甚至还支持侧面的人物肖像,极大地拓展了它的应用范围

Loopy 项目地址:loopyavatar.github.io

相关文章

Grok 4.3 被低估的隐藏工作流全解析
AI 新闻资讯
2026年5月13日
0 条评论
小创

Grok 4.3 被低估的隐藏工作流全解析

Grok 4.3 近期更新后,多数用户仍停留在简单问答模式。AI Master 的实操演示显示,这款工具的真正价值在于工作流整合:Fast/Auto/Expert 三档模式分工明确,Expert 模式下追加"什么条件变化会让你改变答案"可逼出明确结论而非模棱两可的套话。深度嵌入的搜索支持一键生成带引用的舆情分析,"反向观点扫描"能在信息茧房中找出盲区。任务功能可设定周期性指令自动运行,相当于零成本的专职信息助理;结构化输出配合内置 Python 执行,上传 CSV 直接出图表,省去本地配置环境的

#Grok#智能体工程
阅读全文
AI 不够聪明?也许只是没有给对上下文!
AI 新闻资讯
2026年5月13日
0 条评论
小创

AI 不够聪明?也许只是没有给对上下文!

AI 输出质量差往往不是因为模型不行,而是缺乏有效的上下文。近期备受关注的 “上下文工程” 正是解决这一瓶颈。通过数据打通、知识层构建、精准检索和运行时治理,让 AI 获取与任务真正相关的信息。在检索环节,相比基础 RAG,智能体式 RAG 能迭代获取数据,GraphRAG 靠实体关系导航提升精度,上下文压缩则过滤噪音最大化信号。当模型能力边际放缓,上下文工程的质量将成为拉开 AI 应用差距的关键。

#RAG#上下文工程#智能体工程
阅读全文
三种记忆模式解决 AI 智能体的金鱼记忆
AI 新闻资讯
2026年5月12日
0 条评论
小创

三种记忆模式解决 AI 智能体的金鱼记忆

很多 AI 智能体表现“迟钝”,往往并非模型能力不足,而是缺乏记忆机制。Google 技术专家基于 ADK 提出三种解决方案:会话记忆让助手在单次对话中记住上下文;多智能体状态共享支持多个智能体通过键值对协作传递信息;持久化存储则利用数据库替代内存,使智能体能跨越重启记录用户偏好。这些方法能有效解决“金鱼记忆”问题,帮助开发者构建更连贯、具备长期服务能力的个人助理应用。

#智能体工程
阅读全文
互动讨论

评论区

围绕《字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。