Shizuku-Duplex 全双工语音：80ms 一帧，0.57 秒延迟|AI自学笔记

一句话结论：日本 AI 角色公司 Shizuku AI 于 11 月 8 日发布的全双工语音模型 Shizuku-Duplex，在自己搭的日语评测里拿到 6 个参测模型里的最高对话自然性，响应中位延迟 0.57 秒，打断后 2 秒内停止说话的比例 89%，各项指标全面超过 GPT-Live，除了多轮问答准确率 79% 对 GPT-Live 的 95%。

全双工语音模型的分水岭在于模型是等你说完再答，还是一边听一边说。传统语音链路是 ASR 接 LLM 再接 TRS 的串行结构，模块化但每一步都叠加延迟，而且处理不了打断和嗯嗯这类轻量反馈。Shizuku-Duplex 换成每 80 毫秒处理一帧音频的持续推理结构，用户话还没说完它就可以附和、可以插话、也可以保持沉默。

80 毫秒一帧意味着什么

Shizuku-Duplex 的基本单位是 80 毫秒一帧。模型每 80 毫秒接收一次音频特征并生成输出，用 LLM 驱动的交互模型判断此刻该发言、该沉默还是该回应用户。这套结构不依赖静音检测来划分说话轮次，因此可以处理用户话中的插入、打断和嗯嗯这类副语言信号。

输出侧有三种形式：音频、模型独白的文本、以及驱动 Live2D 角色的动作信号。音频输出前模型会先执行一遍 Inner Monologue，把对话转写成文本再做规划，这一步是它能同时输出文本独白与角色动作的前提。为了满足实时要求，团队用 TensorRT 和 Triton kernel 做了推理优化。

架构上它把执行拆成了两半。前台是负责对话的交互模型，后台是可以异步处理复杂请求的模型。当遇到需要联网搜索这类耗时任务，交互模型发出一个 DELEGATE token 把任务交给后台，自己继续和用户说话，等结果回来再自然地接进对话。官方演示中京都旅行查询的后台搜索耗时约 7.1 秒，整个过程语音对话没有中断。

六个模型横向评测的具体数字

团队自建了一套日语全双工评测，参测模型包括 Shizuku-Duplex、GPT-Live-1、J-Moshi-ext、LLM-jp-Moshi-v1、GPT-Realtime-2.1 和 Gemini 3.8 Live。评测由 Claude Opus 5.5 担任评审。数字如下。

指标	Shizuku-Duplex	GPT-Live	说明
轮次指标领先数	6 项中领先 5 项	1 项	在同类日语全双工基线中领先
响应中位延迟	0.57 秒	0.53 秒	用户结束发言到模型开口
多轮问答准确率	79%	95%	Shizuku 的主要短板
闲聊自然度	6.2 / 10	7.6 / 10	团队自评，6 模型中最高
打断后 2 秒内停止说话比例	89%	82%	对用户打断的响应
处理周期	80 毫秒	未公开对应口径	持续监听与输出
上下文压缩周期	约 5 分钟	未公开对应口径	单周期内完成切换

这组数字给出的画像相当清晰。延迟只比 GPT-Live 慢 0.04 秒，打断响应反而更好，闲聊自然度在 6 个参测模型中最高，多轮问答准确率却落后 16 个百分点。团队自己的表述是响应质量仅次于 GPT-Live。

每 5 分钟一次的上下文压缩

全双工系统持续处理交互，包括沉默时段，上下文会快速膨胀。Shizuku-Duplex 用的是自动上下文压缩机制，大约每 5 分钟把之前的对话材料总结一次并重建工作上下文，切换动作设计成不打断正在进行的语音交流。

这类机制有明确的取舍。总结必然要选择保留什么，后面才变得相关的信息可能被简化或丢失。研究者并没有证明该机制能在任意长度的对话中提供完美记忆，应当把它理解成维持长交互的实用技术，而不是对话记忆的完整答案。

为什么全双工的成本结构不一样

一个容易被忽略的账：全双工要求每 80 毫秒都保持 GPU 分配，无论用户是否正在说话。这与按请求 token 计价的流式 API 是两种成本模型。前者更像买一台持续运转的机器，后者更像按量付费。

对于预算有限的小团队和虚拟角色开发者，这决定了商业可行性。这也解释了为什么日语音色的全双工方案长期只有 OpenAI 一家，而日语之外的市场同样缺成熟选项。Shizuku AI 的定位是社交陪伴、情感在场和虚拟角色接口，而不是标准的企业事务型助手。

还没开放的部分

这次公布没有包含公开模型权重、Hugging Face 仓库、参数量，也没有商业 API 定价。官方只提供了使用 Shizuku 角色声音与人格的技术说明和若干演示记录。也就是说，Shizuku-Duplex 目前应被描述为已完成技术文档化的演示系统，而不是开发者可以直接接入的通用产品。

后续路线图包括加入视觉输入和支持日语以外的更多语言。视觉输入是这类角色系统的自然延伸，因为 Live2D 动作输出已经建立了音画同步的通道。

评测方法本身的局限

需要提醒的是，公开的基准结果由发布方自行执行，评审方式是自动化大模型评审而非标准人类评委面板。这意味着数字应当作为方向性参考，而不是市场排名的定论。

另一项独立评测也提到了具体缺陷：对背景语音的误响应率偏高，换句话说在多人环境或嘈杂场景中，它可能对不相干的声音做出反应。响应准确率在若干测试中仍落后 GPT-Live。这两点对虚拟陪伴类应用尤其重要，因为这类场景的常态恰恰是环境音复杂、指令含糊、任务耗时。

和现有语音方案的定位差异

把 Shizuku-Duplex 放进当前的语音方案谱系里看，位置比较清楚。Soniox STT v6 走的是识别准确度与智能体回声消除路线，解决的是听清楚的问题。Block 的纯语音模型 Dessa 走的是端侧可跑路线，把推理成本压到单台 GB200 训练、M4 Max 本地运行。蚂蚁百灵 Ming-3.0 语音系列覆盖合成、理解与识别三个方向。OpenAI 的 GPT-Live 则是全双工路线上的既有标杆，Shizuku-Duplex 全程以它为对照基准。

换句话说，Shizuku-Duplex 并没有发明新的品类，它把全双工语音模型的能力边界推进到了非英语场景的可用水平，并且在一个具体语种上给出了可以复核的数字。

常见问题

Shizuku-Duplex 是什么

它是日本 AI 角色公司 Shizuku AI 于 2026 年 11 月 8 日发布的全双工日语语音对话模型。全双工意味着模型在用户说话的同时持续监听并输出，可以附和、可以打断、也可以保持沉默，而不是等用户说完再生成回答。团队将其定位为除 GPT-Live 之外第一个具备智能对话能力的日语全双工模型。

Shizuku-Duplex 的延迟是多少

在团队自建的日语全双工评测中，用户结束发言到模型开口的响应中位延迟为 0.57 秒，GPT-Live 为 0.53 秒。Shizuku-Duplex 的处理周期是 80 毫秒，用户打断后 2 秒内停止说话的比例为 89%，高于 GPT-Live 的 82%。

开发者现在能用 Shizuku-Duplex 吗

暂时不能直接用。这次公布没有提供公开模型权重、Hugging Face 仓库、参数量与商业 API 定价，官方仅给出技术说明与使用 Shizuku 角色人格的演示。模型当前处于演示与技术文档化阶段，官方表示后续将推进视觉输入与更多语言支持。

小结

Shizuku-Duplex 值得关注的不是它是否打败了 GPT-Live。评测数字给出的答案很清楚：延迟略慢，多轮问答准确率落后 16 个百分点，但打断响应更好、闲聊自然度在 6 个模型中最高、5 项轮次指标领先。它真正的意义是把全双工语音从英语与中文带到了日语，并且给出了一套可以对照复核的技术口径。对于做虚拟角色的团队，这套拆分成前台交互与后台工具调用的架构值得单独研究。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

想快速查定义？对应的词条在这里：

AI Agent词条 · AI 自学笔记

Shizuku-Duplex 全双工语音：80ms 一帧，0.57 秒延迟