Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2
EmbeddingGemma 2 是设备端多模态嵌入能力最强的模型,可将文本、图像、音频和视频的组合原生映射到统一的嵌入空间。
Sahil Dua
Google DeepMind 研究工程师
Henrique Schechter Vera
Google DeepMind 研究工程师
我们去年推出了 EmbeddingGemma ,旨在为高质量文本嵌入提供一种轻量级选择,帮助你的应用直接在消费级硬件上整理、搜索和连接信息。开发者社区的反馈远超我们的预期。凭借超过 2000 万次下载,开发者已用它打造更智能的设备端搜索工具和隐私优先的检索增强生成(RAG)流水线。
今天,我们推出 EmbeddingGemma 2 , 将能力从文本扩展至统一代码、图像、视频和音频的共享嵌入空间。EmbeddingGemma 2 基于 Gemma 4 架构构建,并以商业友好的 Apache 2.0 许可证发布,拥有 7.4 亿参数,非常适合设备端推理。它可以帮助你从语音备忘录中找到特定的视频片段,或根据文本查询搜索数小时的音频录音,所有这些都由一个原生的多模态模型处理。
EmbeddingGemma 2 采用与 Gemini Embedding 模型相同的技术构建,具备以下特点:
在代码、视觉和音频方面实现顶级质量
EmbeddingGemma 2 延续了 EmbeddingGemma 强大的多语言文本性能,同时在代码性能上实现了 9.92 分的显著提升(在 MTEB Code 中,从 68.76 提升至 78.68),非常适合本地代码库索引、语义代码搜索和编码智能体检索。在图像、视频、文档和音频方面,它为 10 亿参数以下的模型树立了每参数质量的新标准,甚至超越了一些规模超过其两倍的专用模型。
在 EmbeddingGemma 2 模型卡 中查看完整评估指标和模型信息。
实现完全在设备端的语义搜索、路由和检索
EmbeddingGemma 2 将强大的能力直接带到边缘硬件。在本地生成嵌入有助于确保数据隐私、降低流水线延迟,并赋能开发者构建完全离线运行的跨模态搜索与检索。
当与 Gemma 4 等生成式模型搭配使用时,EmbeddingGemma 2 可实现理解复杂多模态数据的端侧 RAG 流水线。由于 EmbeddingGemma 2 构建于 Gemma 4 之上,并共享其文本分词器和音频编码器,开发者可以在统一流水线中同时运行这两个模型,从而降低合并后的总内存占用。
要了解如何使用 LiteRT 构建端侧搜索和 RAG 系统,请阅读 Google AI Edge 博客文章 。
开始使用 EmbeddingGemma 2
我们与以下合作伙伴密切合作,确保 EmbeddingGemma 2 在您构建的环境中开箱即用:
· 下载模型: 在 Hugging Face 和 Kaggle 上找到模型权重,Gemini Enterprise Agent Platform Model Garden 也将很快提供。访问 Hugging Face 上的 LiteRT 社区 获取针对端侧优化的模型。
· 端侧部署: 使用 Google AI Edge MediaPipe 开发跨平台应用,实现开箱即用的嵌入、检索与决策任务,或使用 LiteRT 进行自定义模型集成。使用 transformers.js 或 WebGPU 为浏览器构建。
· 使用您喜爱的开发工具 :使用 transformers、sentence-transformers、 MLX 、vLLM、 llama.cpp 、SGLang、 Ollama 和 LMStudio 高效地提供模型服务。使用 Qdrant 存储您的嵌入向量。
· 微调: 遵循 Unsloth 的指南,了解如何针对您的用例微调 EmbeddingGemma 2。
探索我们的 开发者指南 、 文档 ,以及 推理 和 微调 指南。
