3步每片段去噪
35FPS实时流式输出
480p~1080p横竖屏输出
22B骨干参数
一句话看懂
TaoMate-H3 由阿里巴巴 TaoLive AIGC 团队研发,基于 MiniMax H3 底座,将"三步 LoRA 推理"与"自回归生成"结合。用户用一条提示词描述完整场景,模型就能连续生成带对白、歌声或环境音的视频,支持分钟级续写。
与传统"整段视频反复去噪"不同,TaoMate-H3 以小片段为单位推进:每个片段只需三步去噪,先出当前片段再生成后续,显著缩短首段内容的产出时间——这为直播讲解、虚拟角色表演和交互式视频应用提供了新基础。
三大核心能力
三步流式生成
通过少步 LoRA 把每个片段的去噪压缩到三步,逐段产出、无需等待全片,适合需要及时反馈的内容生产。
通过少步 LoRA 把每个片段的去噪压缩到三步,逐段产出、无需等待全片,适合需要及时反馈的内容生产。
音视频联合生成
音频与视觉同步生成,支持人物对白、歌声、环境音与画面的自然匹配,口型与声效同步。
音频与视觉同步生成,支持人物对白、歌声、环境音与画面的自然匹配,口型与声效同步。
分钟级连续续写
相邻段落共享人物、声音与场景信息,支持 30 分钟纪录片式连续生成,人物外观与音色全程稳定。
相邻段落共享人物、声音与场景信息,支持 30 分钟纪录片式连续生成,人物外观与音色全程稳定。
关键技术:锚点引导的持久记忆
- 锚点引导持久记忆(Anchor-Guided Persistent Memory):用不可变的视觉锚点 + 定长动态状态压缩历史,跨片段保持主体外观稳定,不无限扩张缓存。
- 锚点保持因果蒸馏:混合展开视界与学生生成前缀训练,让递归生成时的累积误差可控,视觉参考不被扰动。
- 分段并行流式:把不同去噪阶段分配到不同设备,管道填充后因果就绪的片段可并发推进——无需重训即可在 22B 骨干上实时生成长视频,论文报告 3 卡 35FPS 输出。
论文:TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation(arXiv:2607.24359)
开源与落地
- 开源内容:推理代码 + LoRA 权重,已上 GitHub(TaoLiveAIGC/TaoMate-H3)与 Hugging Face(TaoLiveAIGC/TaoMate-H3)。
- 典型场景:电商商品讲解、角色演唱、动漫对话、环境音效生成、直播讲解、虚拟角色表演。
- 输出规格:480p / 768p / 1080p 横竖屏输出,兼顾移动端与直播流。
✅ 对创作者/开发者:这是"一句话生成分钟级口播视频"第一次以开源形式接近实时可用——数字人直播、电商带货口播的生产成本有望大幅下降。
FAQ
TaoMate-H3 和 Sora/Veo 这类模型有什么区别?
它主打"流式 + 长时续写":以片段为单位自回归生成,首段秒级产出、可无限续写,且音画联合生成自带同步,适合直播与数字人等实时场景;Sora/Veo 更偏整段高质量创作。
代码和权重在哪里下载?
GitHub 仓库 TaoLiveAIGC/TaoMate-H3 与 Hugging Face 同名仓库均已开放推理代码与 LoRA 权重。
普通电脑能跑吗?
22B 骨干 + 流式推理建议使用 GPU 实例;云平台按时计费 GPU 适合先验证效果再规模化。