理解音频远不止于转录文字——它还需要感知声学线索、识别说话人和情绪、解读环境声音、对时间上下文进行推理，并处理复杂的多步推断。MOSS-Audio 旨在将这些能力统一在一个模型中。
本次发布四个模型：MOSS-Audio-4B-Instruct、MOSS-Audio-4B-Thinking、MOSS-Audio-8B-Instruct 和 MOSS-Audio-8B-Thinking。Instruct 变体针对指令跟随进行优化，Thinking 变体提供更强的思维链推理能力。
核心能力
语音识别
ASR + 时间戳
在多种声学条件下转录语音，并可选输出词级和句级时间戳对齐。
说话人分析
身份与情感
识别说话人特征、分析情感状态、检测关键声学事件。
环境音频
场景理解
从背景声、噪声和非语音信号中提取线索以推断场景上下文。
音乐理解
风格与情感
分析音乐风格、情感发展、配器和突出的声学特征。
音频问答
开放式问答
回答关于语音、播客、会议和录音的问题并生成摘要。
复杂推理
思维链
通过思维链训练和强化学习对音频内容进行多步推理。
模型架构
MOSS-Audio 采用模块化设计，包含三个组件：专用音频编码器、模态适配器和大语言模型。原始音频以 12.5 Hz 编码为连续时间表示，投影到 LLM 的嵌入空间，用于自回归文本生成。
Overall architecture of MOSS-Audio
DeepStack 跨层特征注入
仅使用编码器顶层特征会丢失底层韵律、瞬态事件和局部时频结构。MOSS-Audio 使用 DeepStack 跨层注入模块：来自较早和中间编码器层的特征被独立投影并注入到 LLM 的早期层中，保留从底层声学细节到高层语义抽象的多粒度信息。
Multi-layer injection · Preserves prosody & transients · Encoder trained from scratch
时间感知表示
在预训练期间，显式时间标记 token 按固定间隔插入音频帧表示之间，使模型能在统一的文本生成框架中学习"何时发生了什么"。这自然支持时间戳 ASR、事件定位、基于时间的问答和长音频回溯。
Time-marker insertion · 12.5 Hz token stream · Qwen3-4B backbone
评估亮点
MOSS-Audio 在涵盖通用音频、语音描述、ASR 和时间戳对齐的综合音频理解基准上进行了评估。
通用音频（平均准确率）
71.08
MOSS-Audio-8B-Thinking 达到 71.08 平均准确率，超过所有开源模型。
语音描述（LLM 评判）
3.7252 / 5
MOSS-Audio-Instruct 在 13 个语音描述维度中的 11 个领先。
ASR（总体 CER ↓）
11.30
在 12 维 ASR 测试中，MOSS-Audio 取得最低总体 CER。
时间戳 ASR · AAS ↓
35.77 / 131.61
MOSS-Audio-8B-Instruct 在 AISHELL-1 上取得 35.77 AAS，在 LibriSpeech 上取得 131.61。
General Audio Understanding accuracy comparison across open-source and closed-source models
语音描述
使用 LLM 评判协议在 13 个描述性维度上进行细粒度语音风格描述评估。
LLM-Judge Score ↑
ASR
12 个 ASR 评估维度的 CER 汇总结果。越低越好。
CER ↓
| Model | Overall | Health | Dialect | Singing | Non-Speech | Code-Switch | Clean | Noisy | Whisper | Far/Near | Multi-Spk | Age | Semantic |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Paraformer-Large | 15.77 | 22.18 | 43.45 | 32.34 | 4.95 | 12.65 | 3.11 | 4.67 | 5.02 | 17.46 | 20.33 | 14.96 | 7.14 |
| GLM-ASR-Nano | 17.29 | 24.49 | 22.39 | 51.95 | 4.65 | 11.88 | 3.68 | 5.02 | 4.94 | 27.51 | 28.02 | 17.19 | 7.32 |
| Fun-ASR-Nano | 12.04 | 21.99 | 7.80 | 19.35 | 4.76 | 11.23 | 2.98 | 3.46 | 3.78 | 18.38 | 19.82 | 14.95 | 6.08 |
| SenseVoice-Small | 14.50 | 24.04 | 8.89 | 23.79 | 4.92 | 13.90 | 4.13 | 4.93 | 5.57 | 26.66 | 24.06 | 17.63 | 7.55 |
| Kimi-Audio-7B-Instruct | 14.12 | 21.11 | 29.34 | 21.76 | 4.68 | 16.38 | 2.20 | 2.15 | 2.66 | 21.02 | 20.61 | 16.74 | 6.12 |
| Qwen2.5-Omni-3B | 15.26 | 24.65 | 33.87 | 24.24 | 5.54 | 11.66 | 2.76 | 3.56 | 4.32 | 22.15 | 22.91 | 15.17 | 7.24 |
| Qwen2.5-Omni-7B | 15.05 | 23.85 | 31.91 | 22.69 | 4.56 | 12.97 | 2.52 | 3.16 | 3.64 | 25.38 | 21.01 | 16.13 | 6.78 |
| Qwen3-Omni-30B-A3B-Instruct | 11.39 | 20.73 | 15.63 | 16.01 | 4.73 | 11.30 | 2.23 | 2.47 | 1.90 | 17.08 | 18.15 | 11.46 | 5.74 |
| MOSS-Audio-4B-Instruct | 11.58 | 21.11 | 11.84 | 10.79 | 4.01 | 10.11 | 3.11 | 3.72 | 3.29 | 18.48 | 20.33 | 15.09 | 8.15 |
| MOSS-Audio-8B-Instruct | 11.30 | 19.18 | 8.76 | 9.81 | 4.31 | 10.18 | 2.70 | 3.20 | 2.75 | 24.04 | 24.36 | 15.26 | 7.69 |
时间戳 ASR
在中英文基准上以 AAS 衡量时间戳对齐质量。越低越好。
AAS ↓
| Model | AISHELL-1 (zh) | LibriSpeech (en) |
|---|---|---|
| Qwen3-Omni-30B-A3B-Instruct | 833.66 | 646.95 |
| Gemini-3.1-Pro | 708.24 | 871.19 |
| MOSS-Audio-4B-Instruct | 76.96 | 358.13 |
| MOSS-Audio-8B-Instruct | 35.77 | 131.61 |
模型演示
发布模型
| Model | Audio Encoder | LLM Backbone | Total Size | Hugging Face | ModelScope |
|---|---|---|---|---|---|
| MOSS-Audio-4B-Instruct | MOSS-Audio-Encoder | Qwen3-4B | ~4.6B | Model | Model |
| MOSS-Audio-4B-Thinking | MOSS-Audio-Encoder | Qwen3-4B | ~4.6B | Model | Model |
| MOSS-Audio-8B-Instruct | MOSS-Audio-Encoder | Qwen3-8B | ~8.6B | Model | Model |
| MOSS-Audio-8B-Thinking | MOSS-Audio-Encoder | Qwen3-8B | ~8.6B | Model | Model |