网易在全球人工智能开源领域取得显著成绩，其有道团队推出的子曰 Live 系列中的两款模型——流式语音识别模型Confucius4-R2T2和流式翻译模型Confucius4-T3PO，分别在Hugging Face的语音识别和机器翻译热榜上夺得第一，标志着中国在实时AI模型开发上的重要突破。与此同时，OpenAI、谷歌和Meta等知名科技公司的相关模型也出现在榜单上。
在排名取得后，这两款开源模型迅速引起开发者的广泛关注和活跃响应。截至9月30日，R2T2的下载量已超过1万次，而T3PO则超过了1300次，总下载量在30天内突破3万次。开发者们不仅下载模型权重，还开始进行工程适配工作。R2T2发布后，Hugging Face专门搭建了ZeroGPU在线Demo，提供免费计算资源，降低了测试的门槛，海外开发者则在音频推理框架上成功实现了多项功能的适配。
这两款模型成功解决了实时语音交互中的关键技术问题。R2T2专注于流式识别中的“输出内容反复修改”问题，通过最长稳定前缀机制确保输出文本的可靠性，支持80毫秒至2秒的灵活输入。而其测试结果表明，R2T2在延迟方面表现良好，平均识别时间在200至600毫秒之间，与其他同类模型相比，也展现出更为优越的性能。这使得大模型在用户尚未说完时，就可获得稳定的文本，推动后续处理的发展。
发表评论