prefix="og: https://ogp.me/ns#"> 小米开源空间音频理解模型 MiDashengLM-Spatial|AI自学笔记

小米开源MiDashengLM-Spatial:空间音频理解大模型,准确率70.3%

10月15日,小米宣布推出Dasheng系列新成员——MiDashengLM-Spatial,完整公开模型权重和推理代码,并以Apache 2.0许可证开源,定位为业界首个端到端空间音频理解大模型。

两年三版本的声音AI演进

过去两年,小米先后发布并开源了声音基座模型Xiaomi Dasheng及声音理解大模型MiDashengLM-7B。相关技术已在小米智能家居、汽车座舱等场景实现超过30项落地应用,能够对语音、环境声音和音乐进行统一感知与理解,覆盖家庭、车载、娱乐等多个高频场景。

空间推理准确率达70.3%

新模型以MiDashengLM-7B为基座,为声音理解大模型赋予“一双耳朵”,使其不仅能听懂声音的内容,还能感知声音来自何处、如何在空间中分布。研究团队利用头相关传递函数(HRTF)和虚源法模拟不同室内声学环境,构建100万段双耳音频场景、约1.3万小时音频及600万组空间问答数据进行训练。

在STAR-Bench空间推理测试中,MiDashengLM-Spatial准确率达到70.3%,高于原版MiDashengLM的44.3%、Qwen3-Omni的44.7%和MOSS-Audio的41.7%。团队还设计左右声道交换测试:要求模型在声源位置反转后同步改变判断。新模型在这一测试中的全正确率达72.6%,原版模型为0%,证明模型能够利用真实的双耳声学线索进行空间判断。

开源生态与商业应用前景

小米表示,MiDashengLM-Spatial是业界首个开源的端到端空间音频理解大模型,在MMAU-Pro空间理解任务中准确率从原版18.2%提升至55.4%,同时在语音识别、声音描述等通用任务中与原版基本持平。后续将逐步探索在智能家居、汽车座舱和机器人等场景中的应用。