ASR、TTS、Realtime 与音频创作全面更新,最高降价 95%,目前为闭源商业 API大家好,欢迎来到心眸AI笔记,我是jackli!今天日期是2026年9月24日,周四快乐,下面带来今日资讯。
懒人总结千问大模型发布 Qwen-Audio-3.1 系列语音大模型,覆盖语音识别 ASR、语音合成 TTS、实时语音交互 Realtime 三大核心方向,并新增 Qwen-Audio-3.1-TTS-Next 和 Qwen-Audio-3.1-ASR-Next 两款新模型。价格全线下调:**TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%**。ASR 支持 30 种语言、16 种中文方言,首字响应约 160 毫秒,在开源方言测试中平均 CER 为 **4.55%**,中文方言自建测试集平均 CER 为 **10.38%**。ASR-Next 能理解人物情绪、环境声与机械声;TTS-Next 可统一生成人声、音效和环境音,支持 48kHz 输出;Realtime 支持全双工、多语言切换,并可调用 Agent 工具。开源状态要单独说清楚:Qwen-Audio-3.1 系列目前并未开源。 Hugging Face 上没有该系列的官方模型仓库,代码和预训练权重均未开放,第三方模型库将其标注为闭源商业 API。现有 Qwen/Qwen-Audio 属于上一代模型,Qwen3-ASR 轻量权重则是另一条产品线,不要混淆。系列 API 已上架千问 AI 平台,ASR-Next API 即将上线,入口见文末代码块。一、五款模型,拼出一张完整音频能力栈这次 Qwen-Audio 3.1 的发布,不是单点升级,而是把语音相关能力重新梳理了一遍。
从“听懂”到“会写”,从“会说”到“会创作”,再到“能实时聊天、能调用工具”,五款模型分别站在不同位置,拼出一张覆盖 理解—生成—交互—创作 的完整音频能力栈。
更值得关注的是价格。官方对全线语音模型做了下调,其中 TTS 降约 70%,Realtime 降约 85%,ASR 降幅达到 95%。这意味着,语音能力不再只是少数团队的“演示玩具”,而更像是可以大规模接入业务的基础设施。
二、Qwen-Audio-3.1-ASR:把“听得清”做成系统能力先看语音识别。
Qwen-Audio-3.1-ASR 的升级,可以概括为五个字:结构化、广、准、快、清。
结构化方面,它采用端到端方案,能联合输出说话人标签、时间戳和文本。轮流发言、短插话、重叠语音,这些过去容易让转写“糊掉”的场景,现在被放到同一个模型里处理。
听得广,一套模型支持 30 种语言 和 16 种中文方言。
听得准,支持行业词、专业实体和分级热词识别,还能参考长音频历史上下文,保持人名、缩写和专业术语前后一致。
听得快,支持低延迟流式识别,首字响应约 160 毫秒。
听得清,模型原生完成去语气词、去重复、自我纠正和语义重组;同时自动区分说话人,实现长音频角色一致、时间对齐与结构化输出。
性能数据也很有针对性。
在基于 KeSpeech 和 WSYue 的 11 个子集评测中,Qwen-Audio-3.1-ASR 平均 CER 为 **4.55%**,在 6 个子集上取得最优结果。
在中文方言内部自建测试集 ASR 中,评测 16 种中文方言原文转写能力,Qwen-Audio-3.1-ASR 在 11 个方言子集上取得最优结果,平均 CER 为 **10.38%**,温州话等较难方言提升尤为明显。
在中文方言内部自建测试集 AST 中,评测方言语音翻译为普通话的能力,以语义句准率衡量,Qwen-Audio-3.1-ASR 在 11 个方言子集中的 10 个上表现最优,平均语义句准率达到 **82.10%**。
API 入口:
Qwen-Audio-3.1-ASR:
https://www.qianwenai.com/models/qwen-audio-3.1-asr-flash
三、Qwen-Audio-3.1-ASR-Next:从语音转写到泛音频理解如果说 ASR 解决的是“说了什么”,那么 ASR-Next 往前多走了一步:它开始理解“声音背后还有什么”。
这款基于下代架构的音频理解模型,能够理解 人物情绪、环境声与机械声,并完成声音描述、事件定位、音频问答与推理。
在分角色 ASR 评测中,也就是多人语音里“谁在什么时候说了什么”的识别能力,四个测试集的八项指标里,Qwen-Audio-3.1-ASR-Flash-Next 和 Qwen-Audio-3.1-ASR-Flash 分别取得 五项和 三项最优结果,均全面优于此前的 Fun-ASR 级联系统。
这意味着,音频模型不再只是转写工具,而是在向“声音理解系统”靠近。
ASR-Next API 即将上线。
四、Qwen-Audio-3.1-TTS:同一种音色,跨语言也不违和TTS 这边,重点在自然迁移和可控表达。
Qwen-Audio-3.1-TTS 支持多语种及方言合成,也支持模型在同一音色跨语言合成时保持自然迁移。换句话说,同一个声音,换一种语言,不会突然“变味”。
同时,它可以通过指令控制情绪、语速和表达方式。
演示案例里,同一种音色分别生成多方言与多语种,语言包括普通话、广东话、河南话、英语、日语,合成文本是:
欢迎来到云栖大会,很高兴在这里见到你。
另一组演示,则是同一句话用不同情绪与语速呈现,合成文本是:
你终于来了,我一直在等你。我们现在就出发吧,前面还有很多事情等着我们一起完成。
表达方式包括开心、伤心等。对创作者来说,这种控制力比单纯“读得顺”更实用。
API 入口:
Qwen-Audio-3.1-TTS:
https://www.qianwenai.com/models/qwen-audio-3.1-tts-flash
五、Qwen-Audio-3.1-TTS-Next:从配音到完整音频创作TTS-Next 是这次更值得留意的变化。
它不再局限于单一语音合成,而是围绕 文本、时间戳和参考音频 等输入,统一生成人声、音效和环境音,直接创作完整的音频内容。
核心能力可以拆成四点。
第一,一个模型统一生成多类音频。支持生成包含语音及完整环境声场的音频,比如播客对话与背景音效,影视或游戏音频中的台词、环境声、动作音和配乐。
第二,保持多角色音色与情绪一致。支持多人音色复刻与多轮对话生成,在连续内容中保持各角色音色特征,避免多轮生成中角色“变声”,呈现停顿、接话、附和、情绪转折等自然表达。
第三,融合人声、音效与环境声。多类声音融合生成,并呈现声音材质、远近变化与空间层次。比如有声书场景,可以同时处理旁白、两位角色对话,以及城市低鸣、晚风和易拉罐碰撞声。
第四,使用自然语言控制生成过程。通过自然语言指定语气、语速、音量,描述音乐风格、配器方式及声音事件先后顺序。它还支持 细粒度时间戳控制、声音复刻和 48kHz 输出,面向播客、有声书、影视剧、游戏、广告等专业音频创作需求。
API 入口:
Qwen-Audio-3.1-TTS-Next:
https://www.qianwenai.com/models/qwen-audio-3.1-tts-next
六、Qwen-Audio-3.1-Realtime:全双工、多语言、能调工具实时语音交互,是这次另一条主线。
Qwen-Audio-3.1-Realtime 的升级方向很明确:听得更懂、更会接话、更会共情,甚至可以主动调用 Agent 工具完成任务。
它采用 全双工实时交互,告别过去模型只能听或只能说的状态,可以同时说和听,让用户随时插话、打断,交流体验更接近真人通话。
具体能力上:
它能从识别文字,走向理解情绪与交流意图。模型理解的不仅是语音中的文字,还有声音背后的情绪与意图。识别到用户语气低落时,会放慢语速、调整措辞;面对紧张、开心、失落或犹豫,也能结合上下文选择合适的表达。角色扮演场景中,角色设定也体现在连续的声音表达里。
它支持多语言实时交流与自然切换。对话中切换语言时,模型继续保持此前的上下文、语气和交流节奏,跨语言对话不必因语言变化而重新开始。
它强化了安全边界与事实可靠性。面对不确定信息,减少缺乏事实依据的回答;面对敏感或高风险内容,更准确地识别边界并给出安全回应。
它还能在实时对话中调用工具。当需求涉及外部信息或业务系统时,模型可在对话中调用工具,连接 API、知识库和业务系统完成搜索、查询或任务执行,并把结果自然带回对话。
技术架构上,Realtime 基于 多教师蒸馏架构,在保持低延迟的同时,提升理解、推理、表达与安全能力。
多语言切换的案例也很直观。
中文场景里,用户询问下个月去日本和韩国旅行规划,模型用中文回答,推荐从上海出发可先玩杭州或苏州。
日语场景里,用户询问京都一日游推荐路线,模型用日语回答,推荐伏见稻荷大社、祇园、清水寺、鸭川等。
韩语场景里,用户询问首尔明洞附近景点和当地人常去的餐厅,模型用韩语回答,推荐南山塔、北村韩屋村、明洞刀削面、广藏市场小吃等,并提醒过敏注意事项。
在 Agent 与智能硬件结合方面,Qwen-Audio-3.1-Realtime 正在与 Qoder、千问办公等 Agent,以及 QwenNote、A2、Eva、千问 AI 眼镜、乐奇 AI 眼镜等智能硬件结合。用户可直接通过语音发起任务,并在实时对话中继续新增条件、修改需求或了解执行情况。
API 入口:
Qwen-Audio-3.1-Realtime:
https://www.qianwenai.com/models/qwen-audio-3.1-realtime-plus
七、开源状态:目前没开,别在 Hugging Face 等错这一点必须单独拿出来说。
Qwen-Audio-3.1 系列并没有开源。
从可查信息看,该系列被第三方模型数据库标注为闭源商业 API,代码开源状态和预训练权重开源状态均为“不开源”。Hugging Face 上也没有 Qwen-Audio-3.1 系列的官方模型仓库。
现在能在 Hugging Face 上看到的 Qwen/Qwen-Audio,属于上一代模型,不是这次发布的 3.1 版本。另外,有信息提到阿里在开源社区上线了 Qwen3-ASR 的轻量权重,比如 0.6B 与 1.7B 参数版本,但那是另一条独立产品线,不能直接等同于 Qwen-Audio-3.1 系列。
所以,如果你在等权重下载、本地部署或者 Hugging Face 仓库更新,短期内大概率等不到。目前更现实的路径,是通过平台 API 调用。文章给出的体验入口在千问 AI 平台;也有资料将其托管渠道指向阿里云百炼。想动手测试,先从下面的 API 入口进。
八、五条技术路径,指向同一个方向把五款模型放在一起看,Qwen-Audio 3.1 的升级沿着五条清晰路径推进:
模型 升级方向 Qwen-Audio-3.1-ASR 新增语音转写在多语种、方言识别与上下文理解能力,支持原生转写润色 Qwen-Audio-3.1-ASR-Next 将音频理解扩展至泛音频理解,更好地理解人物情绪、环境声、机械声 Qwen-Audio-3.1-TTS 让同一声色在跨语言合成时保持自然感,秒讲数种语言 Qwen-Audio-3.1-TTS-Next 从单一的人声合成扩展为通用音频生成系统,一次生成人声、音效与环境音共同构成的完整音频内容 Qwen-Audio-3.1-Realtime 听得更懂、更会接话、更会共情,更接近真人通话体验,还能主动调用 Agent 工具完成任务
核心定位也很清楚:能听懂、能创作、能聊天,Qwen-Audio 3.1 正在让语音成为连接人、内容与 AI 的自然入口。
九、API 快速索引
# Qwen-Audio 3.1 系列 API 入口
Qwen-Audio-3.1-ASR:
https://www.qianwenai.com/models/qwen-audio-3.1-asr-flash
Qwen-Audio-3.1-TTS:
https://www.qianwenai.com/models/qwen-audio-3.1-tts-flash
Qwen-Audio-3.1-TTS-Next:
https://www.qianwenai.com/models/qwen-audio-3.1-tts-next
Qwen-Audio-3.1-Realtime:
https://www.qianwenai.com/models/qwen-audio-3.1-realtime-plus
Qwen-Audio-3.1-ASR-Next:
API 即将上线
思考与呼吁语音正在变成 AI 最自然的入口之一。但能力越强,越要关注几个现实问题:安全边界、事实可靠性、隐私、版权,以及大规模调用后的成本。
Qwen-Audio 3.1 这次把价格打下来,也把能力堆了上去。接下来真正值得期待的,不是参数表,而是开发者会拿它做出什么:更真实的播客、更高效的有声书、更自然的客服、更能接话的智能硬件,甚至是我们还没想到的语音产品。
如果你在做音频应用,不妨从 API 入口开始试一遍,感受一下“全双工”和“统一音频生成”到底意味着什么。同时也记住,这一代目前是闭源商业 API,不是开源权重,选型时别把部署预期搞错。
如果这篇内容对你有帮助,欢迎点个赞、转发给需要的朋友,再点一下‘在看’。要是方便,也顺手给心眸AI笔记加个星标⭐️,下次更新文章你就能第一时间见到。谢谢你读到这里,我们下篇再见。