当前位置: 首页 > 资讯 > 科技 > 阿里云通义千问震撼发布:双语音模型开源,性能超越OpenAI Whisper
  • 0
  • 0
  • 分享

阿里云通义千问震撼发布:双语音模型开源,性能超越OpenAI Whisper

阿里云 2024-07-13 09:05:59 爱吃爆米花

近日消息,阿里云通义千问在语音技术领域取得了重要突破,宣布开源两大创新语音基座模型:SenseVoice 和 CosyVoice。其中,SenseVoice 主打高精准度的多语言语音识别、细腻的情感分析及丰富的音频事件辨别功能,展现了跨语言环境下的卓越识别能力,以及对复杂音频情境的深刻理解。

SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测,有以下特点:

多语言识别:采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型

富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果;支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测

高效推理: SenseVoice-Small 模型采用非自回归端到端框架,推理延迟极低,10s 音频推理仅耗时 70ms,15 倍优于 Whisper-Large

微调定制:具备便捷的微调脚本与策略,方便用户根据业务场景修复长尾样本问题

服务部署:具有完整的服务部署链路,支持多并发请求,支持的客户端语言有 python、c++、html、java 与 c#等

与开源情感识别模型进行对比,SenseVoice-Large 模型可以在几乎所有数据上都达到了最佳效果,而 SenseVoice-Small 模型同样可以在多数数据集上取得超越其他开源模型的效果。

CosyVoice 模型同样支持多语言、音色和情感控制,该模型在多语言语音、零样本语音生成、跨语言语音克隆和指令跟随等功能方面表现出色。

来源:it之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/64158.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热榜
热门游戏
换一换
热门软件
换一换