阿里巴巴近期发布了开源语音大模型项目FunAudioLLM，该项目包含了两个核心模型：SenseVoice和CosyVoice。可以精准多语言识别并且进行语音克隆

SenseVoice：精准多语言识别与情感辨识
SenseVoice主要致力于高精度多语言语音识别、情感辨识和音频事件检测，支持超过50种语言的识别，其效果显著优于现有的Whisper模型，尤其在中文和粤语识别上提升超过50%。该模型不仅能够准确识别语音，还能辨别音乐、掌声、笑声、哭声、咳嗽和喷嚏等常见人机交互事件。多方面的测试显示，SenseVoice在情感辨识能力上也取得了行业领先的成果，能够检测到多种情感表现。
CosyVoice：自然语音生成的新标杆
CosyVoice则聚焦于自然语音生成，支持多语言、音色和情感控制，涵盖中文、英文、日文、粤语和韩语五种语言的生成。与传统语音生成模型相比，CosyVoice在生成效果上有显著提升。它仅需要3至10秒的原始音频，即可生成模拟音色，包含韵律和情感等细节，甚至能够实现跨语言的语音生成。
此外，CosyVoice还支持通过富文本或自然语言形式，对生成语音的情感和韵律进行细粒度控制，大大提升了生成语音在情感表现力上的细腻程度。
#人工智能
#阿里巴巴
#语音生成
#声音克隆
#语音大模型
#FunAudioLLM
#CosyVoice
#SenseVoice