网易有道发布TTS语音合成引擎Confucius4-TTS:3秒音频素材即可语音克隆

倚天百科 百科资讯 1

6月23日消息,据媒体报道,网易有道近日正式发布“子曰4.0”TTS语音合成引擎——Confucius4-TTS,这是业内首个支持14种语言跨语种无口音、且无需参考文本即可完成语音克隆的开源模型。

该模型在跨语种语音克隆、免参考文本建模、情感韵律迁移及本地化部署等关键维度上均达到国际前沿水平,为多语种内容生成、数字人配音、跨语言教学、短剧出海及全球化传播提供了低门槛、国产化的技术底座。

目前,Confucius4-TTS已全面覆盖中文、英语、西班牙语、法语、德语、韩语、泰语、越南语等14种语言的自然流利表达。

用户仅需提供3秒音频素材,无需参考文本或前期训练,模型即可完成音色克隆,相似度超过85%,克隆任务准确度达到97%。

输入中文音频后,模型能够使用原声音色输出多语种语音,并在全过程中保持音色高度一致;同时,模型可自动提取参考音频中的情感特征,实现语调、韵律与情绪的完整迁移。

在底层架构上,Confucius4-TTS引入GPT式语义大模型作为主干,搭配可学习说话人编码器,并采用Flow Matching流匹配生成框架,不再沿用传统的声码器方案,显著提升了生成质量与可控性。

值得关注的是,网易有道已将Confucius4-TTS全量开源,采用Apache开源协议,面向全球开发者开放完整模型权重及配套工具链,商用无限制。开发者可下载54GB完整资源包,进行本地离线部署,满足数据安全与定制化需求。

GitHub开源地址:https://github.com/netease-youdao/Confucius4-TTS