阿里通义实验室推出新型数字人生成模型，音视频合成更真实！
OmniTalker 数字人视频生成大模型
阿里通义实验室近日发布了一款名为 “OmniTalker” 的新型数字人视频生成大模型。这一创新模型的核心在于其能够通过上传一段参考视频，实现对视频中人物的表情、声音和说话风格的精准模仿。相较于传统的数字人制作流程，OmniTalker 显著降低了制作成本，同时提升了生成内容的真实感和互动体验，满足了广泛的应用需求。
简便的使用体验
OmniTalker 的使用十分简便，用户只需在平台上上传一段参考视频，就能生成与之同步的音频和视频内容。目前，该项目已在魔搭社区和 HuggingFace 等平台开放体验，并提供了多种模板供用户自由使用，完全免费。为了让人们更直观地感受到这一技术的强大，阿里通义实验室展示了几段示例视频，观众几乎无法分辨出视频中的人物是由 AI 生成的还是实拍的，这让人感到震撼。
研发背景与技术创新
该模型的研发背景源于近年来语言大模型的迅猛发展，虚拟主播和虚拟助手的应用越来越广泛。然而，以往的文本驱动数字人生成研究相对较少，且传统方法通常采用级联流水线的方式，容易导致音画不同步、说话风格不一致等问题。OmniTalker 通过引入双分支 DiT 架构，能够同时从文本和参考视频中生成同步的语音和视频，从而克服了这些技术瓶颈。
模型结构与性能表现
核心组成部分
在模型结构方面，OmniTalker 的设计由三大核心部分构成：
- 音频与视觉特征提取：模型能够提取音频特征和视觉特征，确保两者在时间上的完美同步;
- 多模态特征融合：采用多模态特征融合模块，提升了音频和视频的整合效果;
- 预训练解码器：经过预训练的解码器能够高效将合成的音视频特征转换为原始格式，保证输出的高质量。
实验结果
通过实验数据的对比，OmniTalker 在音频生成和视觉效果方面都表现出色，显示出更低的错误率和更高的声音相似度，进一步证明了其在零样本条件下的强大能力。
获取更多信息
- 论文: https://arxiv.org/abs/2504.02433v1
- 项目页: https://humanaigc.github.io/omnitalker
- 体验页: https://huggingface.co/spaces/Mrwrichard/OmniTalker
