EmbeddingGemma 2 怎么选:744M 参数与 78.68 代码分对比

一句话结论:EmbeddingGemma 2 是 Google 在 2026 年 11 月 17 日公开完整技术报告的开源多模态嵌入模型,744M 参数被拆成 271M 文本主干、167M 视觉编码器、305M 音频编码器三段,代码检索基准 MTEB Code 拿到 78.68 分、比前一代高 9.92 分,量化后在手机端峰值内存 191MB 起,768 维输出还能按需截到 128 维。

把 EmbeddingGemma 2 当成又一个文本 embedding 模型看,会低估它。Google 这份技术报告(arXiv:2610.37364,28 页)第一次把三件事摊开讲清楚:这个模型如何在同一个向量空间里同时装下文字、图像、视频、音频,它凭什么在 sub-1B 参数量级上打赢体量大数倍的模型,以及在手机、笔记本、浏览器这种算力紧张的地方,它到底能压到多小。

这份报告给出的可验证数字很密。744M 总参数里文本主干只占 271M,剩下的是可以按需加载的视觉和音频编码器;输出向量 768 维,用 Matryoshka Representation Learning 可以动态截断到 512、256、128 维;在 Pixel 11 Pro 上跑全模态版本,量化检查点的峰值内存是 567MB,只跑文本则降到 191MB。下面按「架构拆解 → 基准对比 → 端侧成本 → 消融实验 → 选型建议」的顺序拆开。

744M 参数拆成三段:为什么文本只占三分之一

嵌入模型的传统做法是每种模态单独训练一套编码器,跨模态检索时再想办法把不同空间的向量对齐。EmbeddingGemma 2 换了个思路:所有模态编码器把媒体转成一段「软 token」序列,然后一起送进同一个双向 transformer 主干,主干输出的向量天然就在同一个空间里。

这个设计带来的直接好处是参数可以模块化加载。

运行形态 加载参数 覆盖模态
纯文本 271M 文字、代码
文本加视觉 439M 再加图像、视频帧、PDF 与幻灯片
文本加音频 577M 再加语音、音乐、环境音
全模态 744M 任意交错的多模态组合

报告明确写了这个模型的骨架继承自 Gemma 4 的架构与权重,tokenizer 和音频编码器都与 Gemma 4 共享,训练目标则蒸馏自 Gemini Embedding 2。也就是说它不是从零训的,而是站在两个更大的东西上面学出来的。

上下文窗口从上一代的 2K 扩到 8K,官方给的换算是大约 5.5 分钟音频、29 张标准尺寸图像、58 帧视频可以直接一次性编码,不必先切段。这一条对做本地视频库或者会议录音归档的人最实用。另外文档里给了 7 种任务指令前缀(搜索、问答、事实核查、代码检索、分类、聚类、语义相似度),前四种查询侧和文档侧格式不同,这是检索效果的一个隐藏开关。

基准成绩:代码 78.68 分是这次最硬的一个数

报告覆盖四套基准:文本与代码用 MTEB,图像视频用 MMEB-v2 和 MIEB(lite),音频用 MAEB 和 MSEB。官方给出的结论是模型在所有模态上建立了新的帕累托前沿,能打赢专业模型以及体量大 2 到 12 倍的通用模型。

基准 EmbeddingGemma 2 EmbeddingGemma 1 同期同量级对比
MTEB 多语言 v2(任务均值) 61.36 61.15 Qwen3-Embedding-0.6B 64.34
MTEB 英文 v2(任务均值) 68.46 69.67 Qwen3-Embedding-0.6B 70.47
MTEB Code(任务均值) 78.68 68.76 Qwen3-Embedding-0.6B 75.42
MMEB-v2(任务均值) 59.01 不支持 jina-embeddings-v5-omni-nano 43.61
MIEB lite(任务均值) 60.17 不支持 SigLIP so400m 52.28
MAEB(任务均值) 49.87 不支持 jina-embeddings-v5-omni-nano 50.14
MSEB 检索(前 10 名命中率) 69.54 50.95(ASR 模式) Gemini Embedding 2 原生音频 73.99

三个细节值得单独拎出来。

第一,代码检索是最大增量。MTEB Code 从 68.76 跳到 78.68,官方表格里同榜的 271M 规模模型最高只有 75 分级别,它比体量大 3 倍以上的 Qwen3-Embedding-0.6B 高出 3.26 分。在 MTEB Code 榜单上它是 sub-4B 里最好的,且距离榜首只差不到 2 分。报告把这归因为代码任务上 9.92 分的提升,直接指向本地代码库索引、语义代码搜索和编码智能体的检索环节。

第二,英文文本有小幅回落,从 69.67 降到 68.46。官方解释是模型参数在多模态和文本之间做了重新分配,多语言分数靠 bitext mining 和分类任务拉起来,英文则退了一点。这是选型时必须知道的代价:纯英文检索场景,272M 级的 jina-embed-v5-text-nano 和 Qwen3-Embedding-0.6B 仍然更强。

第三,原生音频编码带来的增益超过换模型。报告对比了同模型的两种输入路径:把音频先过 ASR 转成文字再编码,MSEB 检索只有 57.59;直接吃原生音频是 69.54。而上一代用 ASR 路径只有 50.95。也就是说 256 维截断后的原生音频向量,仍然碾压上一代 768 维的 ASR 文本向量。

端侧成本:191MB、447MB、567MB 三个内存数

技术报告给了量化感知训练后的实际占用,采用 int4 权重,Pixel 11 Pro 上的推理峰值内存如下。

量化检查点 纯文本 文本加视觉 全模态
int4 按块(Q4_0) 约 191MB 约 447MB 约 567MB
int4 按通道(Q4_C) 191MB 447MB 567MB
bfloat16 原始权重 精度更高,内存占用约为上表 2 到 3 倍

量化后的精度损失也有对照表。int4 按通道版本在 MTEB 多语言 v2 上是 60.84 对 61.36,MTEB 英文 v2 是 68.49 对 68.46 反而略高,MTEB Code 从 78.68 掉到 76.70,MIEB lite 从 60.17 掉到 56.71。多模态聚合指标的损失比文本明显,官方为此加了一个「合并后补蒸馏」的收尾阶段,把量化检查点从冻结的浮点权重重新蒸馏一遍,缩小精度差距。

维度截断是另一个省钱杠杆,报告给出的实测梯度很清楚。MTEB Code 从 768 维的 78.68 降到 512 维 77.2、256 维 76.2、128 维 71.4;MIEB lite 从 60.17 降到 59.9、58.6、54.2。128 维在文本侧掉得多一些,在视觉侧掉得更多,但考虑到向量数据库里每条记录要占的存储,这个交换很多时候是划算的。MRL 官方宣称最高 6 倍存储节省,就是从 768 截到 128 得到的。

三个反直觉的消融结论

报告里有三组消融实验,结论和直觉相反,值得单独看。

第一个,去掉每层嵌入查找表反而更好。Gemma 3 和 Gemma 4 都用了一张专门的 PLE 查找表给中间层注入 token 级信息,EmbeddingGemma 2 把它砍了,只保留共享投影。MMEB-v2 总体分从 55.07 升到 55.46,视频任务涨 0.69,视觉文档涨 0.61,文本评测里也有提升。原因很直白:那张查找表对非文本模态提供不了任何直接信号。

第二个,微调阶段不能省。多模态预训练后总体分 52.27,改用对比学习加展开正则加 MRL 损失的微调阶段后升到 55.46,图像和视频任务涨幅最明显。报告做了对照实验:保持同等算力继续做蒸馏,停在 52.28,几乎没有进步。模型必须有一个阶段摆脱老师,自己去优化向量空间。

第三个,视觉 token 预算可以在推理时临时放大。训练时用 280 图像 token、140 帧视频 token,推理时如果只给 70 个 token,总分从 56.15 掉到 50.07;给 140 个是 55.37;给满 280 个回到 56.15。这给了端侧部署一个很实用的旋钮,内存吃紧时降预算换速度,检索精度要求高时再拉满。

另外报告还提到一个诚实的短板:模型在按说话人性别聚类这类零样本任务上表现很差(VoxPopuliGenderClustering 只有 0.40),但用线性探针提取同一属性能拿到 66.40。官方的解释是语音表示被语义主导,避免了人口统计偏差。音频描述检索上,专门的 CLAP 类模型在若干任务上仍然更强。

怎么选:和 Qwen3-Embedding-0.6B、jina omni nano、SigLIP 对比

把四类对手放到同一张表里,选型逻辑就清楚了。

模型 参数 维度 主打能力
EmbeddingGemma 2 744M(文本 271M) 768 可截 原生多模态统一空间,端侧可跑
Qwen3-Embedding-0.6B 596M 1024 纯文本与代码,中文与多语言检索更强
jina-embeddings-v5-omni-nano 986M 768 全模态但综合分低,本报告复现分 43.61
SigLIP so400m 878M 1152 纯图像表征,文本检索能力缺失
General CLAP 194M 512 音频文本对齐,MAEB 34.98

结论有三条。第一,如果你的场景里图片、语音、视频和文字要混在一起检索,EmbeddingGemma 2 目前是开源阵营里最完整的选择,纯文本模型的短板在它这里不存在。第二,如果只做中文或纯文本代码检索,Qwen3-Embedding-0.6B 在多语言和英文基准上依然占优。第三,如果纯粹要在手机上做相册语义搜索,先用 271M 的纯文本形态跑通,再决定要不要加载视觉编码器,因为视觉编码器会直接吃掉 256MB 内存和一部分检索质量。

部署侧的生态已经铺开:Hugging Face 和 Kaggle 提供权重,LiteRT 社区有针对端侧的优化版本,MediaPipe 可以一行调用嵌入与检索,transformers.js 加 WebGPU 可以在浏览器里跑,transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio 都能服务,存储端推荐接 Qdrant,微调可以按 Unsloth 的指引走。

如果你现在正在搭一套本地检索的底座,选型之前不妨先看看本地向量库怎么选:9000 条实测,延迟差 9 倍,以及RAG 加 rerank:第一名从 31% 到 60%,每次多 2.2 秒这两篇实测。嵌入模型换了,检索链路的召回与重排逻辑还得重新对一遍参数,RAG 切分怎么设:200 到 1600 字实测召回差一倍里的切分结论在多模态场景会变,因为一页 PDF 的信息密度和一段文字完全不是一个量级。

常见问题

EmbeddingGemma 2 和上一代最大的区别是什么?

上一代只能处理文字,这一代把图像、视频、音频原生映射进同一个向量空间,不需要跨模态对齐。代码检索分数从 68.76 升到 78.68,上下文从 2K 扩到 8K,量化后端侧内存最低 191MB。代价是纯英文文本基准小幅回落 1.21 分。

本地跑这个模型需要什么硬件?

纯文本形态 271M 参数,int4 量化后在手机上约 191MB 内存,桌面端普通显卡就能跑。全模态 744M 参数在 Pixel 11 Pro 上峰值 567MB,桌面端 8GB 显存的卡足够。若还要 58 帧视频这种长输入,建议走 GPU 或 Apple Silicon 统一内存。

128 维截断会不会明显掉检索效果?

分场景。文本侧 MTEB Code 从 78.68 掉到 71.4,MIEB lite 从 60.17 掉到 54.2,属于可见损失。256 维是更稳的选择,代码任务仍有 76.2 分,而存储只占 768 维的三分之一。配合 int4 量化,本地向量库的空间开销能压到原来的六分之一。

小结

EmbeddingGemma 2 的技术报告给出了一个清晰答案:多模态嵌入模型不必用数倍参数换能力,靠共享主干加可插拔模态编码器,加上按模态和目标递进的训练课程,744M 就能在 MTEB、MMEB、MAEB、MSEB 全线上压过 2 到 12 倍大的模型。想在端侧做统一语义搜索的团队,现在有了一个可以直接下载量化的成熟选项。

全部文章归档与模型专题