EmbeddingGemma

Überblick

EmbeddingGemma ist ein offenes Text-Embedding-Modell von Google DeepMind, vorgestellt am 4. September 2025. Es wandelt Text in Vektoren mit 768 Dimensionen um und ist für Suche, RAG, Klassifikation und Clustering gedacht, ausdrücklich auch auf Smartphones, Laptops und anderen Geräten ohne Cloud-Anbindung. Seit Oktober 2026 führt Google es als „EmbeddingGemma 1"; Nachfolger ist das multimodale EmbeddingGemma 2.

Technische Eckdaten

• 308 Mio. Parameter: rund 100 Mio. Modellparameter und rund 200 Mio. Embedding-Parameter
• Abgeleitet aus Gemma 3 mit T5Gemma-Initialisierung; bidirektionale Attention macht den Decoder zum Encoder
• 24 Layer, Hidden Size 768, Sliding-Window-Attention (512 Token) mit vier globalen Layern
• Mean Pooling, danach zwei Dense-Layer (768 → 3.072 → 768)
• Ausgabe: 768 Dimensionen, per Matryoshka Representation Learning (MRL) auf 512, 256 oder 128 kürzbar (danach neu normalisieren)
• Eingabe: bis 2.048 Token, nur Text
• Trainiert auf rund 320 Mrd. Token in über 100 Sprachen

Use Cases

• Semantische Suche und RAG über Dokumentenbestände, auch mehrsprachig mit Deutsch
• Lokale, datenschutzfreundliche Pipelines, in denen weder Dokumente noch Anfragen das Haus verlassen
• Klassifikation, Clustering, Duplikaterkennung und Faktenprüfung über Aufgabenpräfixe
• Code-Retrieval (Google berichtet dafür eigene Werte)
• Embedding-Schicht für kleine lokale Modelle, z. B. zusammen mit Gemma auf derselben Hardware

Stärken & Grenzen

Stärken

• Sehr klein: laut Google mit Quantisierung unter 200 MB RAM und unter 15 ms je Embedding (256 Token) auf EdgeTPU
• Mehrsprachig mit über 100 Trainingssprachen
• Kürzbare Vektoren senken Speicher- und Suchkosten, bei 512 Dimensionen mit geringem Qualitätsverlust laut Herstellertabelle
• Offizielle quantisierungsbewusst trainierte Checkpoints (QAT, Q4_0 und Q8_0) mit nahezu unveränderten Werten

Grenzen

• Gemma-Lizenz statt Apache-2.0: Die Nutzung ist an die Gemma Terms of Use und die Prohibited Use Policy gebunden; der Nachfolger EmbeddingGemma 2 steht dagegen unter Apache-2.0
• Kontext von 2.048 Token: Längere Dokumente müssen in Abschnitte zerlegt werden
• Aktivierungen unterstützen kein float16; Google verlangt float32 oder bfloat16
• Qualität hängt am Aufgabenpräfix; ohne Präfix sinkt sie
• Laut Google mögliche Schwächen bei Nuancen, Ironie und bildlicher Sprache sowie übernommene Verzerrungen aus den Trainingsdaten

Benchmarks: Quellenlage

Alle Werte sind Herstellerangaben aus Googles Model Card, jeweils Mean (Task) / Mean (TaskType):

Dimensionen	MTEB Multilingual v2	MTEB English v2	MTEB Code v1
768	61,15 / 54,31	69,67 / 65,11	68,76
512	60,71 / 53,89	69,18 / 64,59	68,48
256	59,68 / 53,01	68,37 / 64,02	66,74
128	58,23 / 51,77	66,66 / 62,70	62,96

Die quantisierten Checkpoints liegen bei 768 Dimensionen nur knapp darunter (Q8_0: 60,93 / 69,49 / 68,70; Q4_0: 60,62 / 69,31 / 67,99 für Multilingual, English und Code).

Google bezeichnete das Modell zum Release als bestplatziertes offenes mehrsprachiges Text-Embedding-Modell unter 500 Mio. Parametern auf MTEB.

Hinweis: Weder Artificial Analysis noch BenchLM vermessen Embedding-Modelle; beide führen EmbeddingGemma nicht (Stand 10.10.2026). Eine unabhängige Platzierung auf dem MTEB-Leaderboard ließ sich nicht als Text auslesen.

Gut zu wissen

• Prompts: Anfragen als task: search result | query: {Text}, Dokumente als title: {Titel oder none} | text: {Text}. Weitere Präfixe gibt es für Question Answering, Fact Checking, Classification, Clustering, Sentence Similarity und Code Retrieval.
• Ollama: embeddinggemma (622 MB, BF16), dazu 300m-qat-q8_0 (338 MB) und 300m-qat-q4_0 (239 MB), ab Ollama 0.11.10
• Weitere Laufzeiten: Sentence Transformers, Hugging Face Transformers, llama.cpp, MLX, LiteRT, transformers.js
• Hugging Face: Das Repository google/embeddinggemma-300m ist zugangsbeschränkt; vor dem Download müssen die Gemma-Bedingungen akzeptiert werden
• Server-Einsatz: Für große Server-Workloads verweist Google selbst auf das API-Modell Gemini Embedding
• Nachfolger: EmbeddingGemma 2 (Oktober 2026) bringt 8K Kontext, Bild, Video und Audio sowie Apache-2.0