开源模型 · 阿里 AIGC · 2026-10-07

淘宝 TaoMate-H3 开源:三步生成分钟级音视频,直播级流式数字人来了

阿里巴巴 TaoLive AIGC 团队正式开源音视频联合流式生成模型 TaoMate-H3:每个片段仅需三步去噪,支持 35FPS 实时流式输出与分钟级续写,推理代码与 LoRA 权重已开放。

3步每片段去噪
35FPS实时流式输出
480p~1080p横竖屏输出
22B骨干参数

一句话看懂

TaoMate-H3 由阿里巴巴 TaoLive AIGC 团队研发,基于 MiniMax H3 底座,将"三步 LoRA 推理"与"自回归生成"结合。用户用一条提示词描述完整场景,模型就能连续生成带对白、歌声或环境音的视频,支持分钟级续写。

与传统"整段视频反复去噪"不同,TaoMate-H3 以小片段为单位推进:每个片段只需三步去噪,先出当前片段再生成后续,显著缩短首段内容的产出时间——这为直播讲解、虚拟角色表演和交互式视频应用提供了新基础。

三大核心能力

三步流式生成
通过少步 LoRA 把每个片段的去噪压缩到三步,逐段产出、无需等待全片,适合需要及时反馈的内容生产。
音视频联合生成
音频与视觉同步生成,支持人物对白、歌声、环境音与画面的自然匹配,口型与声效同步。
分钟级连续续写
相邻段落共享人物、声音与场景信息,支持 30 分钟纪录片式连续生成,人物外观与音色全程稳定。

关键技术:锚点引导的持久记忆

论文:TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation(arXiv:2607.24359)

开源与落地

✅ 对创作者/开发者:这是"一句话生成分钟级口播视频"第一次以开源形式接近实时可用——数字人直播、电商带货口播的生产成本有望大幅下降。

想跑通流式音视频生成管线?

这类实时生成任务对 GPU 算力、显存和带宽要求很高。国内云平台 GPU 实例是训练与推理的性价比选择。

查看腾讯云 GPU 实例特惠 →

FAQ

TaoMate-H3 和 Sora/Veo 这类模型有什么区别?

它主打"流式 + 长时续写":以片段为单位自回归生成,首段秒级产出、可无限续写,且音画联合生成自带同步,适合直播与数字人等实时场景;Sora/Veo 更偏整段高质量创作。

代码和权重在哪里下载?

GitHub 仓库 TaoLiveAIGC/TaoMate-H3 与 Hugging Face 同名仓库均已开放推理代码与 LoRA 权重。

普通电脑能跑吗?

22B 骨干 + 流式推理建议使用 GPU 实例;云平台按时计费 GPU 适合先验证效果再规模化。