当前位置:首页 / 新闻资讯 / 行业资讯

阿里云通义千问开源两款语音基座模型,识别效果优于 OpenAI Whisper

发布日期:2024-07-10     30 次

7 月 9 日消息,阿里云通义千问开源了两款语音基座模型 SenseVoice(用于语音识别)和 CosyVoice(用于语音生成)。

0.jpg

SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测,有以下特点:

多语言识别:采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型

富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果;支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测

高效推理: SenseVoice-Small 模型采用非自回归端到端框架,推理延迟极低,10s 音频推理仅耗时 70ms,15 倍优于 Whisper-Large

微调定制:具备便捷的微调脚本与策略,方便用户根据业务场景修复长尾样本问题

服务部署:具有完整的服务部署链路,支持多并发请求,支持的客户端语言有 python、c++、html、java 与 c#等

与开源情感识别模型进行对比,SenseVoice-Large 模型可以在几乎所有数据上都达到了最佳效果,而 SenseVoice-Small 模型同样可以在多数数据集上取得超越其他开源模型的效果。

0.jpg

CosyVoice 模型同样支持多语言、音色和情感控制,该模型在多语言语音、零样本语音生成、跨语言语音克隆和指令跟随等功能方面表现出色。


为您精选

寻找更多销售、技术和解决方案的信息?

关于绿测

广州绿测电子科技有限公司(简称:绿测科技)成立于2015年11月,是一家专注于耕耘测试与测量行业的技术开发公司。绿测科技以“工程师的测试管家”的理念向广大客户提供专业的管家服务。绿测科技的研发部及工厂设立于广州番禺区,随着公司业务的发展,先后在广西南宁、深圳、广州南沙、香港等地设立了机构。绿测科技经过深耕测试与测量领域多年,组建了一支经验丰富的团队,可为广大客户提供品质过硬的产品及测试技术服务等支持。

绿测工场服务号
绿测工场服务号
绿测科技订阅号
绿测科技订阅号
020-2204 2442
Copyright @ 2015-2024 广州绿测电子科技有限公司 版权所有 E-mail:Sales@greentest.com.cn 粤ICP备18033302号