VITA-1.5 开源交互式多模态大语言模型

VITA-1.5是一款强大的开源交互式多模态大语言模型，支持实时视觉与语音交互。

VITA-1.5 接近GPT-4o级别的性能，与之前的版本VITA-1.0相比，VITA-1.5在多个方面进行了改进，主要包括：

1，交互延迟显著降低：语音交互的端到端延迟从约4秒减少到1.5秒，提升用户体验。

2，多模态性能增强：在多个基准测试（如MME、MMBench和MathVista）上的平均性能从59.8提高到70.8。

3，语音处理能力改善：ASR（自动语音识别）错误率从18.4降至7.5，同时替换了独立的TTS（文本到语音）模块为端到端的TTS模块，提高了语音合成质量。

4，渐进式训练策略：语音能力的增加对其他多模态性能影响较小，图像理解性能的平均值轻微下降。

地址：https://github.com/VITA-MLLM/VITA