• 多模态
  • 视频
  • 音频

MOSS-Video-and-Audio

面向高保真音视频同步生成的基座模型。

日期
2026.01.29
作者
OpenMOSS Team
所属机构
MOSI.AI

我们正式推出 MOVA (MOSS Video and Audio),这是一款致力于打破"无声视频"与"沉浸式体验"之间壁垒的基座模型。传统的视频生成往往采用"先画后音"的级联方案,这种割裂的流程不仅计算成本高昂、误差容易累积,更难以解决音画同步的顽疾。相比之下,MOVA 实现了生成过程中视频与音频的原生交互,确保每一帧画面都能与声波精准锁对。从逼真的多语种口型,到契合环境的音效与配乐,MOVA 都能带来无缝、高保真的双模态视听体验。

ELO RankingsMOVA: 1113.8, 95% confidence interval 1084.6–1144.3; LTX-2: 1074.1, 95% confidence interval 1045.1–1104.7; Ovi: 925.4, 95% confidence interval 895.2–952.9; WAN2.1+MMAudio: 886.9, 95% confidence interval 857.7–915.385090095010001050110011501113.8MOVA1074.1LTX-2925.4Ovi886.9WAN2.1+MMAudioModelELO

误差线:95% 置信区间

模型概述

为了解决如 Sora 2 和 Veo 3 等顶尖系统因闭源带来的限制,MOVA 为 图文生音视频 (IT2VA) 和 文生音视频 (T2VA) 任务提供了一个完全开源的框架。该模型采用了非对称双塔架构,并通过双向跨注意力机制进行融合;同时利用 混合专家 (MoE) 设计,在拥有 32B 总参数量的同时,推理时仅需激活 18B 参数,兼顾了生成质量与部署效率。除了开源模型权重外,我们还配套提供了细粒度的双模态数据处理流水线以及 LoRA 微调支持,旨在赋能研究社区和创作者,共同推动同步电影级合成技术的前沿发展。

MOVA 模型架构

MOVA 模型架构

Benchmark

ModelAudio-SpeechAV-AlignLip SyncASR Acc
IS↑DNSMOS↑DeSync↓IB-Score↑LSE-D↓LSE-C↑cpCER↓
LTX-23.0663.6350.4510.2137.2616.1090.194
Ovi3.6803.5160.5150.1907.4686.3780.439
WAN2.1 + MMAudio4.036–0.2600.317–––
MOVA-360p4.2693.7970.4750.2868.0986.2780.165
w/ dual CFG4.1693.6740.3510.3157.0047.8000.247
MOVA-720p3.9363.6710.4850.2778.0486.5930.159
w/ dual CFG3.8143.7510.3700.2977.0947.4520.195

Demos