B站开源IndexTTS2，一键生成带情感的影视级配音，精准控制语速时长

Bilibili Index团队正式宣布IndexTTS-2.0开源，这款自回归零样本文本转语音系统，通过情感丰富、时长可控的核心优势，为语音生成技术带来重要突破，推动零样本TTS技术向实用化迈进。目前，项目论文、完整代码、模型权重及在线体验页面已全部开放，开发者、研究者和内容创作者都能前往体验并提出建议，团队未来还会持续优化模型性能，逐步开放更多资源与工具。

IndexTTS2作为一款自回归、零样本TTS系统，在技术层面实现多项创新，解决传统语音生成中的诸多痛点。

两种语音生成模式

• 精准控制语音时长：通过指定生成的token数，满足对时长有严格要求的场景，比如影视配音中需要与画面嘴型同步的情况。

• 自由生成自然节奏语音：适用于更注重自然表达的应用，像有声读物录制，让听众感受更流畅的听觉体验。

情感与音色解耦

系统引入Gradient Reversal Layer，实现情感与音色的解耦，让情感表达不再受音色限制。同时支持多方式情感表达控制，既可以用文本描述设定情感，也能通过音频prompt调控，大幅提升情感表达的灵活性。此外，还构建7种基本情绪的embedding空间，为情感精准表达奠定基础；借助LLM（DeepSeekR1 + Qwen3-LoRA）将自然语言映射为情感向量引导生成，让情感表达更贴近人类语言习惯。

零样本音色克隆

仅需10秒参考音频，通过对比学习对齐潜在空间，就能支持方言、口音复刻。在中文处理上，采用汉字与拼音联合输入的混合建模方式，有效解决多音字问题，例如“行”字xíng、háng两种读音的准确区分。

卓越性能支撑

IndexTTS2采用先进的GPT潜在表示和软指令机制，增强语音稳定性。在单词错误率、说话人相似性和情感保真度上，表现优于现有多数模型。其时长控制能力可精确到音节级别，让AI配音首次达到影视工业级标准，打破自然度与精准控制无法兼得的技术瓶颈。

性能表现数据

不同数据集上的零样本性能对比中，IndexTTS2展现出优异实力。

在LibriSpeech test-clean数据集上，IndexTTS2的SS（说话人相似性）达到0.870，WER（单词错误率）低至3.115%，SMOS（主观语音质量评分）为4.44±0.12，PMOS（主观自然度评分）4.12±0.17，QMOS（主观整体质量评分）4.29±0.14，各项关键指标均处于前列。

SeedTTS test-en数据集测试中，IndexTTS2的SS为0.860，WER 1.521%，SMOS 4.42±0.19，PMOS 4.40±0.13，QMOS 4.48±0.15，虽较IndexTTS在部分指标上略有差异，但整体表现稳定。

SeedTTS test-zh数据集上，IndexTTS2优势明显，SS高达0.865，WER仅1.008%，SMOS 4.44±0.17，PMOS 4.46±0.11，QMOS 4.54±0.08，多项指标超越其他对比模型，包括Ground Truth（真实语音）在部分维度的表现。

AIShell-1 test数据集测试里，IndexTTS2的SS为0.843，WER 1.516%，SMOS 4.54±0.11，PMOS 4.42±0.17，QMOS 4.52±0.17，在同类模型中保持领先。

情感测试数据集上，IndexTTS2的情感表达能力尤为突出，情感相似度（ES）达到0.887，情感MOS（EMOS）4.22±0.12，远超MaskGCT、F5-TTS、Cosy Voice2等其他模型，充分证明其在情感语音生成上的优势。

应用场景

凭借强大的技术能力，IndexTTS2的应用覆盖多个领域，为不同场景下的语音需求提供解决方案。

• 影视与动画配音：能快速替换对白、补录台词，保证嘴型同步，满足影视工业对配音精度的高要求，提升制作效率。

• UGC短视频：创作者一键生成多情绪旁白，轻松适配不同剧情节奏，让短视频内容更具感染力。

• 虚拟数字人：实时驱动数字人说话时，既能保持品牌音色一致，又能让情绪随场景灵活切换，增强数字人的交互体验。

• 无障碍朗读：为视障用户生成带情感的有声书，帮助视障用户更生动地感受书籍内容，丰富精神世界。

项目资源获取

• 项目官网：https://indextts2.org/

• GitHub：https://github.com/index-tts/index-tts

• 技术论文：https://arxiv.org/pdf/2506.21619