一句话结论:Qwen3.8-Omni-Flash 是阿里通义千问新一代原生全模态模型,支持文本、图像、音频、视频四路输入与 100 万 token 长上下文,29 项评测较上一代平均提升超 25%,每小时音频输入价格降幅超 98%,并首次把音视频 Agent 从理解层推到端到端交付层。
这篇解读覆盖一个此前站内没有系统讲过的模型。Qwen3.8-Omni-Flash 在 2026 年 9 月 14 日由通义千问团队正式发布,定位是原生全模态智能体模型。它的核心命题有两条:一是用一套模型同时吃下文本、图像、音频和视频,不再依赖多个专用模型拼接;二是让模型自己规划任务、调用工具并完成交付,把音视频从被动感知的输入变成主动执行任务的载体。
这个定位在 2026 年底看非常有意思,因为同期各家都在把多模态往语音和视频推,但大多数仍在解决理解精度问题。Qwen3.8-Omni-Flash 选择先解决系统成本问题,官方给出的数字是每小时音频输入价格降幅超过 98%,每小时音视频输入价格降幅超过 93%。这两个数字配合 Agentic 理解带来的 token 消耗下降,构成了一套完整的降本叙事。
模型定位:四模态输入与 Agent 能力的合流
官方对 Qwen3.8-Omni-Flash 的定义是原生全模态模型加生产级 Agent 能力。基础能力覆盖编程、文本知识工作与 GUI 操作等通用 Agentic 任务,新增量集中在以音视频为核心的场景:视频剪辑、音乐视频创作、影视制作与解说、音视频转图文摘要以及音视频对话。
上下文能力是 100 万 token。官方表述为在保持与同尺寸文本模型相当的文本能力的同时,全模态能力显著提升。1M 长上下文在音视频场景里的价值很直接,几个小时的会议录音或完整影片可以一次性放进上下文,不需要切片再拼接,跨片段的指代关系也就不会断。
评测口径是 29 项。官方公布的 29 项评测涵盖三个组别:音频推理包含 AliMeeting-test、AISHELL-4、MagicData-RAMC、MLC-SLM、WenetSpeech、FLEURS-60 ASR 与 S2TT、SpotSoundBench、MMAU、MMAR、MMSU、MuchoMusic-RUL、HumMusQA、MusTBench、Audio-MultiChallenge、WildSpeech 与 VoiceBench;音视频推理包含 DailyOmni、WorldSense、AVUT、JointAVBench、OmniCloze、OmniCap-IF、QIVD、OmniVideoBench 与 StreamingBench;音视频 Agent 包含 WildClawBench-MM、UniClawBench 与 OmniGAIA。
完整评测数据:与 Gemini 3.8 Flash 等四款模型横向比较
官方公布的完整性能表把 Qwen3.8-Omni-Flash 放在 Qwen3.5-Omni-Plus、Gemini 3.8 Flash、Seed 2.0 Lite 与 Muse Spark 1.2 之间对比。这张表的信息量比单看自家上一代要大得多。
| 基准 | Qwen3.8-Omni-Flash | Qwen3.5-Omni-Plus | Gemini 3.8 Flash | Seed 2.0 Lite | Muse Spark 1.2 |
|---|---|---|---|---|---|
| WildClawBench-MM 多模态工具调用 | 71.0 | 34.5 | 58.9 | 41.9 | 未列入 |
| UniClawBench 多模态工具调用 | 69.6 | 67.1 | 69.0 | 61.2 | 未列入 |
| AgenticVBench 多模态工具调用 | 36.8 | 14.5 | 45.0 | 10.0 | 未列入 |
| OmniGAIA 联网搜索 | 74.0 | 57.2 | 78.6 | 64.4 | 未列入 |
| DailyOmni 音视频理解 | 85.1 | 85.1 | 84.0 | 81.4 | 79.6 |
| WorldSense 音视频理解 | 68.5 | 63.9 | 69.6 | 67.3 | 65.0 |
| AVUT 音视频理解 | 86.6 | 85.9 | 88.0 | 81.5 | 82.4 |
| JointAVBench 音视频理解 | 75.9 | 74.1 | 70.4 | 70.6 | 71.8 |
| OmniVideoBench 音视频推理 | 63.4 | 53.8 | 65.2 | 58.5 | 62.2 |
| Video-MME-v2 音视频推理 | 65.0 | 47.9 | 71.0 | 64.9 | 未列入 |
| LVOmniBench 长视频推理 | 63.3 | 53.2 | 70.7 | 未列入 | 未列入 |
| OmniCloze 音视频描述 | 63.2 | 64.2 | 60.9 | 56.3 | 65.3 |
| OmniCap-IF 描述 CSR / ISR | 80.6 / 28.2 | 72.1 / 14.1 | 81.9 / 28.3 | 74.6 / 18.1 | 77.9 / 26.8 |
| QIVD 音视频交互 | 69.6 | 65.6 | 69.1 | 62.0 | 62.0 |
| StreamingBench 音视频交互 | 80.8 | 57.1 | 79.9 | 77.2 | 77.8 |
| AliMeeting 多说话人 DER / cpWER | 3.4 / 17.2 | 88.1 / 89.6 | 72.6 / 53.1 | 75.1 / 76.1 | 93.7 / 92.7 |
| AISHELL-4 多说话人 DER / cpWER | 2.8 / 11.2 | 100.0 / 100.0 | 66.4 / 56.9 | 64.8 / 64.2 | 91.3 / 86.0 |
| MagicData-RAMC 多说话人 DER / cpWER | 5.7 / 14.1 | 98.4 / 97.1 | 67.9 / 33.8 | 未列入 | 未列入 |
这张表有三个值得单独说的地方。
第一,音视频 Agent 三项是相对上一代提升最大的区域。WildClawBench-MM 从 34.5 分升到 71.0 分,提升 36.5 分。AgenticVBench 从 14.5 分升到 36.8 分,提升 22.3 分。UniClawBench 从 67.1 分升到 69.6 分。这三项的评测框架不同,前两项使用 Claude Code 作为 Harness,UniClawBench 使用 OpenClaw,OmniGAIA 未使用 Harness。官方还注明 WildClawBench-MM 只评测其中涉及图像、视频或音频的多模态任务。
第二,多说话人语音识别的差距是断崖式的。AliMeeting 上 DER 从上一代的 88.1 降到 3.4,cpWER 从 89.6 降到 17.2,AISHELL-4 上 cpWER 更是从 100.0 降到 11.2。DER 是漏检率,cpWER 是条件字错率,两个指标同时塌到个位数意味着模型在多人重叠语音场景下的分离能力有本质变化。官方给出的对比是 Gemini 3.8 Flash 在 AliMeeting 上为 72.6 与 53.1,这里 Qwen 的优势是明确的。站内 智元 WITA-Omni 具身全模态模型 走的是另一条具身路线,可以和本文的多说话人语音识别部分对照看。
第三,长视频推理与 Agentic 工具调用仍有短板。LVOmniBench 上 63.3 分落后 Gemini 3.8 Flash 的 70.7 分,Video-MME-v2 上 65.0 分落后 71.0 分,AgenticVBench 上 36.8 分落后 Gemini 的 45.0 分。OmniGAIA 联网搜索 74.0 分也低于 Gemini 的 78.6 分。官方总结口径是音视频能力接近 Gemini 3.8 Flash,音频能力整体超过 Gemini 3.8 Flash。
Agentic 理解:准确率与 token 消耗的取舍
这是整篇内容里最值得展开的一段技术设计。面对数小时的长视频,传统做法是逐帧处理全部内容,哪怕答案只在其中几分钟的片段里。Qwen3.8-Omni-Flash 的原生 Agent 从问题出发,自主决定该看什么、听什么,通过由粗到细的多轮取证定位关键信息,把有限的计算与 token 预算集中在真正相关的片段上。
| OmniVideoBench 指标 | 静态理解 | Agentic 理解 | 变化 |
|---|---|---|---|
| 准确率 | 63.4 | 67.8 | 提升 4.4 个百分点 |
| 每次查询 token 消耗 | 145,736 | 79,117 | 下降 45.7% |
准确率上升 4.4 个百分点的同时 token 消耗砍掉 45.7%,这是典型的正和结果。官方注明 Agentic 模式在多轮交互中保留上下文,所以后续取证不需要从头再来。这个机制对成本的影响是乘法级的,因为音视频推理的 token 消耗本身就大。
与之配套的是可控音视频 Caption 能力。描述对象、时间范围、信息粒度与输出格式均可自由指定,面对同一段视频既能纵览全貌、定位关键片段,也能分析人物动作、镜头、光影与声音并按需输出结构化结果。这解决的是素材检索、内容创作与资产管理三类业务对同一段视频提出不同诉求的问题。
Realtime 版本:延迟与吞吐的真实数字
面向持续低延迟交互场景,官方同时发布了 Qwen3.8-Omni-Flash-Realtime。它在音视频流输入的同时完成感知与响应,并结合实时上下文调用工具执行任务。
| 输入场景 | 文本输出 TPS | 首 token 延迟 | 首个音频包延迟 | 音频生成 RTF |
|---|---|---|---|---|
| 音频 6 秒 | 84.87 | 591.26 毫秒 | 978.36 毫秒 | 0.1538 |
| 音频 12 秒 | 83.18 | 604.80 毫秒 | 982.74 毫秒 | 0.1537 |
| 音频 20 秒 | 81.06 | 617.98 毫秒 | 1026.39 毫秒 | 0.1538 |
| 音视频 6 秒 | 84.89 | 837.96 毫秒 | 1214.73 毫秒 | 0.1524 |
| 音视频 12 秒 | 84.33 | 911.85 毫秒 | 1268.07 毫秒 | 0.1527 |
| 音视频 20 秒 | 83.00 | 981.01 毫秒 | 1350.49 毫秒 | 0.1528 |
音视频输入比纯音频输入多出约 250 毫秒的首 token 延迟,原因是视觉帧要单独编码。音频生成 RTF 稳定在 0.1524 到 0.1538 之间,意味着生成速度约为实时的 6.5 倍。官方示例代码里的实时接口默认视频参数是 1 fps 与 1280×720 分辨率,输出音频为 24 kHz 单声道 16 位 PCM。
Realtime 版本有两个功能值得单独说。实时口语陪练联合建模发音与语义,能理解受口音影响的非标准表达并对齐到正确词汇,还能实时生成标准发音示范。全模态空间音频感知则是官方称的首个支持听声辨位的全模态大模型,融合空间声音与视觉信息判断声源方向与距离,可配合工具完成定位、搜索、路径规划与导航。这两项能力面向的是陪伴式交互与具身导航,与站内 Shizuku-Duplex 全双工语音 80 毫秒一帧 讨论的实时语音工程问题属于同一类。
支持的语种与方言覆盖
语音识别覆盖 74 种语言,包括南非语、阿拉伯语、阿斯图里亚斯语、阿塞拜疆语、巴斯克语、白俄罗斯语、孟加拉语、波斯尼亚语、保加利亚语、粤语、加泰罗尼亚语、宿务语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、世界语、爱沙尼亚语、菲律宾语、芬兰语、法语、加利西亚语、格鲁吉亚语、德语、希腊语、希伯来语、印地语、匈牙利语、冰岛语、印尼语、意大利语、日语、爪哇语、卡纳达语、哈萨克语、韩语、柯尔克孜语、泰语、越南语、土耳其语、波兰语、葡萄牙语、俄语等。语音生成覆盖 29 种语言与 7 种中文方言,中文方言包括四川话、北京话、天津话、南京话、陕西话、粤语与闽南语。
工具链:Qwen-MM-Plugins 与 Qwen-Live Harness
官方把这次发布拆成了模型加工具两层。Qwen-MM-Plugins 面向长程工作流,负责按需感知、工具调用与工作流执行。Qwen-Live Harness 已开源,面向实时交互,提供音视频对话、任务委托、记忆与上下文管理的原生运行环境。
Plugins 里最值得注意的是 Omni Skill Creator。它可以从操作演示中提炼标准作业流程并转化为可复用的自动化流程,也可以从专家教学中学习工具使用、决策依据与关键经验,一次演示教学即可转化为经过校验和评测的 Agent Skill。这条路径把视频从被动内容变成了可沉淀的流程资产。
官方给出的三个端到端场景值得记住。Music2MV 负责音乐视频创作,能理解歌曲结构、节奏、情绪、人声与乐器变化,输出带时间戳的句级歌词,让歌声、字幕与画面精准配合。短剧翻译把区分角色的台词识别、口语化翻译、角色克隆配音、音轨重混与成片质检串成一条流水线。长电影解说是两三小时完整影片的自动化生产,模型完成长视频全模态理解、关键情节提炼、解说规划、配音配乐、剪辑渲染与成片质检,还能智能穿插原声对白并自动调节语速与音量。
怎么接入:API 参数与推理档位
接入方式走阿里云百炼的 OpenAI 兼容端点,base_url 为 https://dashscope.aliyuncs.com/compatible-mode/v1,模型名 qwen3.8-omni-flash,鉴权用 DASHSCOPE_API_KEY。接口同时兼容 OpenAI 规范的聊天补全与响应两种 API。
模型正式支持 reasoning_effort 参数,用于调节推理深度与控制成本。xhigh 是默认值,适合需要深入分析的复杂任务。medium 在准确性与速度之间平衡。low 优化速度与成本。preserve_thinking 在所有场景下默认开启,以获得开箱即用的效果。多模态内容通过 content 数组传入,图片走 image_url 字段,音频与视频走对应的输入类型,实时场景另用 Realtime 回调接口接收音频增量。
常见问题
Qwen3.8-Omni-Flash 和 Qwen3.5-Omni-Plus 怎么选
新项目直接用 Qwen3.8-Omni-Flash,它在 29 项评测上平均领先上一代超过 25%,多说话人语音识别的 DER 与 cpWER 有数量级改善,Agentic 音视频基准的提升幅度更大。已有基于 3.5-Omni-Plus 的项目迁移时需要注意接口层的 reasoning_effort 默认值是 xhigh,成本估算要按新的思考档位重算。
它和 Gemini 3.8 Flash 比哪个好
官方口径是音视频能力接近 Gemini 3.8 Flash,音频能力整体超过。表格数据支持这个说法但有边界:多说话人语音识别上 Qwen 优势明显,AgenticVBench 与 LVOmniBench 上 Gemini 领先,OmniGAIA 联网搜索也是 Gemini 更高。选择上,中文方言与多人会议场景优先 Qwen,长视频推理与搜索型 Agent 任务 Gemini 更稳。
Agentic 理解省下的 45.7% token 会影响准确率吗
不会,反而提升。OmniVideoBench 实验中静态理解的准确率是 63.4,Agentic 理解是 67.8,同时 token 从 145,736 降到 79,117。原因是模型把预算集中到了真正相关的片段,而不是平均撒在整段素材上。前提是多轮交互中保留上下文,否则后续取证要重算,收益会被吃掉。
小结
Qwen3.8-Omni-Flash 的三条主线是清楚的。四模态统一输入让长音视频可以一次性进上下文,29 项评测平均提升超 25% 兑现了能力升级,每小时音频输入价格降超 98% 加上 Agentic 理解省下的 45.7% token 构成了完整的成本闭环。工具链上 Qwen-MM-Plugins 面向长程交付、Qwen-Live Harness 面向实时交互,Omni Skill Creator 把演示视频变成可复用流程,这套组合目前是全模态 Agent 里少见的完整形态。短板同样清楚:长视频推理与搜索型 Agent 落后 Gemini 3.8 Flash,AgenticVBench 差距接近 9 分,工具链在真实生产环境的成熟度还需要更多第三方验证。
相关阅读
- Gemini Omni 1.2 Flash:15 秒视频与每秒 0.07 美元
- 智元 WITA-Omni:400 毫秒响应的具身全模态模型
- Shizuku-Duplex 全双工语音:80 毫秒一帧
- Qwen4 登顶 GameFeel 榜 49.9 分
- E-Commerce Bench 实测:18 模型开店 365 天
延伸阅读
- Qwen-Audio-3.1 发布:五款语音模型齐发,ASR 降价 95%2 月前
- 千问 Qwen3.8-Omni-Flash 全模态上线:音频输入降价 98%,1M 上下文与评测提升 26%2 月前
- Shizuku-Duplex 全双工语音:80ms 一帧,0.57 秒延迟3 天前
- 爱诗科技 PixVerse R2 实时全模态世界模型:Omni Causal AR 统一架构,边生成边交互边演化2 月前
继续读
往下这几篇值得接着看:
- E-Commerce Bench 实测:18 模型开店 365 天,最高赚 14 倍2026-11-12
- Shizuku-Duplex 全双工语音:80ms 一帧,0.57 秒延迟2026-11-10
- Qwen3.8 误连阿里云代理:5 模型 3 命中与 2 到 4 成触发率2026-10-29
