国内首个音频生成类大模型通过备案

近日，上海网信办发布新一批上海市生成式大模型备案通过名单。喜马拉雅音频大模型与米哈游、阅文集团的筑梦岛等文本大模型共同通过了备案，成为全国首个通过网信办生成式人工智能服务的音频生成类大模型。

喜马拉雅音频大模型是全球首个第四代多情感演绎、超自然表达的音频生成大模型。该模型将会引领整个音频行业AIGC从第三代音频生成模型向第四代音频生成大模型的演化发展。

喜马拉雅音频模型是珠峰AI团队基于自研文本音频联合建模的LLM框架，在同一空间向量表征下实现音频与文本的联合建模训练。这种联合建模的方法充分赋予了音频生成任务以强大的语义信息，并充分利用它们之间的内在联系和互补信息，大幅度提高模型的性能和泛化能力，这也是第四代音频大模型超越上一代的核心技术突破。

在训练过程中，喜马拉雅珠峰AI首先将音频数据和文本数据分别进行预处理，将它们转化为适合模型输入的 token 形式，并将音频 token 和文本 token 映射到同一空间向量表征中，使得模型能够更好地理解和处理音频和文本之间的关系。模型具备以下特点：（1）15s音色克隆能力和声音转换能力。（2）超拟人、多情感、对齐人类偏好的语音生成。（3）高可控风格和副语言能力。

喜马拉雅珠峰AI研发团队对训练好的模型进行评估，在长音频内容如有声小说的场景下，角色演绎风格的可控性、音素表现的稳定性、语流韵律停顿等的自然度上显著高于国内外第三代音频生成模型。