一句话结论:EmbeddingGemma 2 是 Google 在 2026 年 11 月 17 日公开完整技术报告的开源多模态嵌入模型,744M 参数被拆成 271M 文本主干、167M 视觉编码器、305M 音频编码器三段,代码检索基准 MTEB Code 拿到 78.68 分、比前一代高 9.92 分,量化后在手机端峰值内存 191MB 起,768 维输出还能按需截到 128 维。
把 EmbeddingGemma 2 当成又一个文本 embedding 模型看,会低估它。Google 这份技术报告(arXiv:2610.37364,28 页)第一次把三件事摊开讲清楚:这个模型如何在同一个向量空间里同时装下文字、图像、视频、音频,它凭什么在 sub-1B 参数量级上打赢体量大数倍的模型,以及在手机、笔记本、浏览器这种算力紧张的地方,它到底能压到多小。
这份报告给出的可验证数字很密。744M 总参数里文本主干只占 271M,剩下的是可以按需加载的视觉和音频编码器;输出向量 768 维,用 Matryoshka Representation Learning 可以动态截断到 512、256、128 维;在 Pixel 11 Pro 上跑全模态版本,量化检查点的峰值内存是 567MB,只跑文本则降到 191MB。下面按「架构拆解 → 基准对比 → 端侧成本 → 消融实验 → 选型建议」的顺序拆开。
744M 参数拆成三段:为什么文本只占三分之一
嵌入模型的传统做法是每种模态单独训练一套编码器,跨模态检索时再想办法把不同空间的向量对齐。EmbeddingGemma 2 换了个思路:所有模态编码器把媒体转成一段「软 token」序列,然后一起送进同一个双向 transformer 主干,主干输出的向量天然就在同一个空间里。
这个设计带来的直接好处是参数可以模块化加载。
| 运行形态 | 加载参数 | 覆盖模态 |
|---|---|---|
| 纯文本 | 271M | 文字、代码 |
| 文本加视觉 | 439M | 再加图像、视频帧、PDF 与幻灯片 |
| 文本加音频 | 577M | 再加语音、音乐、环境音 |
| 全模态 | 744M | 任意交错的多模态组合 |
报告明确写了这个模型的骨架继承自 Gemma 4 的架构与权重,tokenizer 和音频编码器都与 Gemma 4 共享,训练目标则蒸馏自 Gemini Embedding 2。也就是说它不是从零训的,而是站在两个更大的东西上面学出来的。
上下文窗口从上一代的 2K 扩到 8K,官方给的换算是大约 5.5 分钟音频、29 张标准尺寸图像、58 帧视频可以直接一次性编码,不必先切段。这一条对做本地视频库或者会议录音归档的人最实用。另外文档里给了 7 种任务指令前缀(搜索、问答、事实核查、代码检索、分类、聚类、语义相似度),前四种查询侧和文档侧格式不同,这是检索效果的一个隐藏开关。
基准成绩:代码 78.68 分是这次最硬的一个数
报告覆盖四套基准:文本与代码用 MTEB,图像视频用 MMEB-v2 和 MIEB(lite),音频用 MAEB 和 MSEB。官方给出的结论是模型在所有模态上建立了新的帕累托前沿,能打赢专业模型以及体量大 2 到 12 倍的通用模型。
| 基准 | EmbeddingGemma 2 | EmbeddingGemma 1 | 同期同量级对比 |
|---|---|---|---|
| MTEB 多语言 v2(任务均值) | 61.36 | 61.15 | Qwen3-Embedding-0.6B 64.34 |
| MTEB 英文 v2(任务均值) | 68.46 | 69.67 | Qwen3-Embedding-0.6B 70.47 |
| MTEB Code(任务均值) | 78.68 | 68.76 | Qwen3-Embedding-0.6B 75.42 |
| MMEB-v2(任务均值) | 59.01 | 不支持 | jina-embeddings-v5-omni-nano 43.61 |
| MIEB lite(任务均值) | 60.17 | 不支持 | SigLIP so400m 52.28 |
| MAEB(任务均值) | 49.87 | 不支持 | jina-embeddings-v5-omni-nano 50.14 |
| MSEB 检索(前 10 名命中率) | 69.54 | 50.95(ASR 模式) | Gemini Embedding 2 原生音频 73.99 |
三个细节值得单独拎出来。
第一,代码检索是最大增量。MTEB Code 从 68.76 跳到 78.68,官方表格里同榜的 271M 规模模型最高只有 75 分级别,它比体量大 3 倍以上的 Qwen3-Embedding-0.6B 高出 3.26 分。在 MTEB Code 榜单上它是 sub-4B 里最好的,且距离榜首只差不到 2 分。报告把这归因为代码任务上 9.92 分的提升,直接指向本地代码库索引、语义代码搜索和编码智能体的检索环节。
第二,英文文本有小幅回落,从 69.67 降到 68.46。官方解释是模型参数在多模态和文本之间做了重新分配,多语言分数靠 bitext mining 和分类任务拉起来,英文则退了一点。这是选型时必须知道的代价:纯英文检索场景,272M 级的 jina-embed-v5-text-nano 和 Qwen3-Embedding-0.6B 仍然更强。
第三,原生音频编码带来的增益超过换模型。报告对比了同模型的两种输入路径:把音频先过 ASR 转成文字再编码,MSEB 检索只有 57.59;直接吃原生音频是 69.54。而上一代用 ASR 路径只有 50.95。也就是说 256 维截断后的原生音频向量,仍然碾压上一代 768 维的 ASR 文本向量。
端侧成本:191MB、447MB、567MB 三个内存数
技术报告给了量化感知训练后的实际占用,采用 int4 权重,Pixel 11 Pro 上的推理峰值内存如下。
| 量化检查点 | 纯文本 | 文本加视觉 | 全模态 |
|---|---|---|---|
| int4 按块(Q4_0) | 约 191MB | 约 447MB | 约 567MB |
| int4 按通道(Q4_C) | 191MB | 447MB | 567MB |
| bfloat16 原始权重 | 精度更高,内存占用约为上表 2 到 3 倍 | ||
量化后的精度损失也有对照表。int4 按通道版本在 MTEB 多语言 v2 上是 60.84 对 61.36,MTEB 英文 v2 是 68.49 对 68.46 反而略高,MTEB Code 从 78.68 掉到 76.70,MIEB lite 从 60.17 掉到 56.71。多模态聚合指标的损失比文本明显,官方为此加了一个「合并后补蒸馏」的收尾阶段,把量化检查点从冻结的浮点权重重新蒸馏一遍,缩小精度差距。
维度截断是另一个省钱杠杆,报告给出的实测梯度很清楚。MTEB Code 从 768 维的 78.68 降到 512 维 77.2、256 维 76.2、128 维 71.4;MIEB lite 从 60.17 降到 59.9、58.6、54.2。128 维在文本侧掉得多一些,在视觉侧掉得更多,但考虑到向量数据库里每条记录要占的存储,这个交换很多时候是划算的。MRL 官方宣称最高 6 倍存储节省,就是从 768 截到 128 得到的。
三个反直觉的消融结论
报告里有三组消融实验,结论和直觉相反,值得单独看。
第一个,去掉每层嵌入查找表反而更好。Gemma 3 和 Gemma 4 都用了一张专门的 PLE 查找表给中间层注入 token 级信息,EmbeddingGemma 2 把它砍了,只保留共享投影。MMEB-v2 总体分从 55.07 升到 55.46,视频任务涨 0.69,视觉文档涨 0.61,文本评测里也有提升。原因很直白:那张查找表对非文本模态提供不了任何直接信号。
第二个,微调阶段不能省。多模态预训练后总体分 52.27,改用对比学习加展开正则加 MRL 损失的微调阶段后升到 55.46,图像和视频任务涨幅最明显。报告做了对照实验:保持同等算力继续做蒸馏,停在 52.28,几乎没有进步。模型必须有一个阶段摆脱老师,自己去优化向量空间。
第三个,视觉 token 预算可以在推理时临时放大。训练时用 280 图像 token、140 帧视频 token,推理时如果只给 70 个 token,总分从 56.15 掉到 50.07;给 140 个是 55.37;给满 280 个回到 56.15。这给了端侧部署一个很实用的旋钮,内存吃紧时降预算换速度,检索精度要求高时再拉满。
另外报告还提到一个诚实的短板:模型在按说话人性别聚类这类零样本任务上表现很差(VoxPopuliGenderClustering 只有 0.40),但用线性探针提取同一属性能拿到 66.40。官方的解释是语音表示被语义主导,避免了人口统计偏差。音频描述检索上,专门的 CLAP 类模型在若干任务上仍然更强。
怎么选:和 Qwen3-Embedding-0.6B、jina omni nano、SigLIP 对比
把四类对手放到同一张表里,选型逻辑就清楚了。
| 模型 | 参数 | 维度 | 主打能力 |
|---|---|---|---|
| EmbeddingGemma 2 | 744M(文本 271M) | 768 可截 | 原生多模态统一空间,端侧可跑 |
| Qwen3-Embedding-0.6B | 596M | 1024 | 纯文本与代码,中文与多语言检索更强 |
| jina-embeddings-v5-omni-nano | 986M | 768 | 全模态但综合分低,本报告复现分 43.61 |
| SigLIP so400m | 878M | 1152 | 纯图像表征,文本检索能力缺失 |
| General CLAP | 194M | 512 | 音频文本对齐,MAEB 34.98 |
结论有三条。第一,如果你的场景里图片、语音、视频和文字要混在一起检索,EmbeddingGemma 2 目前是开源阵营里最完整的选择,纯文本模型的短板在它这里不存在。第二,如果只做中文或纯文本代码检索,Qwen3-Embedding-0.6B 在多语言和英文基准上依然占优。第三,如果纯粹要在手机上做相册语义搜索,先用 271M 的纯文本形态跑通,再决定要不要加载视觉编码器,因为视觉编码器会直接吃掉 256MB 内存和一部分检索质量。
部署侧的生态已经铺开:Hugging Face 和 Kaggle 提供权重,LiteRT 社区有针对端侧的优化版本,MediaPipe 可以一行调用嵌入与检索,transformers.js 加 WebGPU 可以在浏览器里跑,transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio 都能服务,存储端推荐接 Qdrant,微调可以按 Unsloth 的指引走。
如果你现在正在搭一套本地检索的底座,选型之前不妨先看看本地向量库怎么选:9000 条实测,延迟差 9 倍,以及RAG 加 rerank:第一名从 31% 到 60%,每次多 2.2 秒这两篇实测。嵌入模型换了,检索链路的召回与重排逻辑还得重新对一遍参数,RAG 切分怎么设:200 到 1600 字实测召回差一倍里的切分结论在多模态场景会变,因为一页 PDF 的信息密度和一段文字完全不是一个量级。
常见问题
EmbeddingGemma 2 和上一代最大的区别是什么?
上一代只能处理文字,这一代把图像、视频、音频原生映射进同一个向量空间,不需要跨模态对齐。代码检索分数从 68.76 升到 78.68,上下文从 2K 扩到 8K,量化后端侧内存最低 191MB。代价是纯英文文本基准小幅回落 1.21 分。
本地跑这个模型需要什么硬件?
纯文本形态 271M 参数,int4 量化后在手机上约 191MB 内存,桌面端普通显卡就能跑。全模态 744M 参数在 Pixel 11 Pro 上峰值 567MB,桌面端 8GB 显存的卡足够。若还要 58 帧视频这种长输入,建议走 GPU 或 Apple Silicon 统一内存。
128 维截断会不会明显掉检索效果?
分场景。文本侧 MTEB Code 从 78.68 掉到 71.4,MIEB lite 从 60.17 掉到 54.2,属于可见损失。256 维是更稳的选择,代码任务仍有 76.2 分,而存储只占 768 维的三分之一。配合 int4 量化,本地向量库的空间开销能压到原来的六分之一。
小结
EmbeddingGemma 2 的技术报告给出了一个清晰答案:多模态嵌入模型不必用数倍参数换能力,靠共享主干加可插拔模态编码器,加上按模态和目标递进的训练课程,744M 就能在 MTEB、MMEB、MAEB、MSEB 全线上压过 2 到 12 倍大的模型。想在端侧做统一语义搜索的团队,现在有了一个可以直接下载量化的成熟选项。
延伸阅读
- Anthropic OSS Scanner上线:6个月检出2.9万漏洞,88%经专家验证为真实1 月前
- 小米开源 Xiaomi-OCR-0:0.8B 参数 95.24 分文档解析登顶3 周前
- 谷歌英国数据中心遭 5.5 万人联名反对:1000 份意见仅 1 份支持1 周前
- Google Assistant 谢幕:9 月 29 日起 Gemini 接管安卓语音2 月前
继续读
往下这几篇值得接着看:
- RAG 加 rerank:第一名从 31% 到 60%,每次多 2.2 秒2026-11-18
- 谷歌 GTIG:exploit_agent 全自动利用漏洞,5 款框架进实战2026-11-17
- 本地向量库怎么选:9000 条实测,延迟差 9 倍2026-11-17
