Nomic Embed Text v2 MoE

Mehrsprachiges MoE-Embedding-Modell von Nomic AI (475M gesamt / 305M aktiv, rund 100 Sprachen, Apache-2.0) – nach eigener Angabe das erste seiner Art.

Überblick

Nomic Embed Text v2 MoE ist ein mehrsprachiges Text-Embedding-Modell von Nomic AI, veröffentlicht im Februar 2025. Nach Angabe von Nomic ist es das erste allgemeine Embedding-Modell mit Mixture-of-Experts-Architektur. Es deckt rund 100 Sprachen ab, darunter Deutsch, und steht wie sein Vorgänger samt Trainingscode und Trainingsdaten unter Apache-2.0. Ollama führt es als nomic-embed-text-v2-moe.

Technische Eckdaten

475 Mio. Parameter gesamt, laut Nomic 305 Mio. aktiv je Token
Encoder mit 12 Layern und Hidden Size 768; in jeder zweiten Schicht ersetzt ein MoE-Block das Feed-Forward-Netz: 8 Experten, Top-2-Routing, keine Shared Experts
XLM-RoBERTa-Tokenizer mit rund 250.000 Token Vokabular, deshalb ein großer Embedding-Anteil an den Parametern
Ausgabe: 768 Dimensionen, per Matryoshka auf 256 kürzbar
Eingabe: 512 Token
Training: 1,6 Mrd. Textpaare im Vortraining (gefiltertes mC4 und mehrsprachige CC News), rund 1 Mio. Paare im Feintuning

Use Cases

Mehrsprachige Suche und RAG, z. B. über deutsche und englische Dokumente im selben Index
Sprachübergreifende Suche: deutsche Anfrage, englische oder französische Dokumente
Lokale Pipelines, bei denen ein multilinguales Modell unter 1 GB Download gesucht ist
Projekte mit Transparenzanforderungen, weil Trainingscode und -daten offenliegen

Stärken & Grenzen

Stärken

Mehrsprachig mit rund 100 Sprachen bei moderater Größe (958 MB in Ollama)
Retrieval-Werte laut Nomic: BEIR 52,86 und MIRACL 65,80
Kürzung auf 256 Dimensionen mit überschaubarem Verlust (BEIR 49,63 statt 52,86)
Vollständig offene Trainingskette unter Apache-2.0

Grenzen

Nur 512 Token Kontext. Gegenüber v1.5 (bis 8.192 Token) ein klarer Rückschritt; Dokumente müssen feiner zerlegt werden.
Aufgabenpräfixe sind Pflicht (search_query: / search_document: )
Laut Nomic kann die Qualität je Sprache schwanken; die Sprachangaben sind uneinheitlich (Model Card: „rund 100", an anderer Stelle „Dutzende"; die Metadaten listen 101 Sprachcodes)
MoE-Architektur: Nomic weist auf höheren Ressourcenbedarf als bei dichten Modellen hin; auf Hugging Face ist trust_remote_code nötig, für GPUs wird Megablocks empfohlen
Nomic bezeichnet die Arbeit im Paper selbst als erste Erkundung von MoE für Embeddings

Benchmarks: Quellenlage

Herstellerangaben aus Model Card und Paper (arXiv 2502.07972). Nomic veröffentlicht keinen MTEB-Gesamtwert, sondern nur Retrieval-Werte:

Benchmark	768 Dimensionen	256 Dimensionen
BEIR (15 Datensätze, NDCG@10)	52,86	49,63
MIRACL (mehrsprachiges Retrieval, 16 Sprachen)	65,80	–

BEIR ist der Retrieval-Teil der englischen MTEB-Suite. MIRACL ist der aussagekräftigere Wert für deutschsprachige Anwendungen, weil er mehrsprachiges Retrieval misst. Über 18 Sprachen gemittelt nennt das Paper 66,0.

Hinweis: Artificial Analysis und BenchLM vermessen keine Embedding-Modelle und führen Nomic Embed nicht (Stand 10.10.2026). Ergebnisse liegen im offiziellen MTEB-Ergebnis-Repository; eine Leaderboard-Platzierung ließ sich nicht auslesen.

Gut zu wissen

Präfixe: search_query: für Anfragen, search_document: für Dokumente; in Sentence Transformers über prompt_name="query" bzw. "passage". Matryoshka-Kürzung vor der Normalisierung anwenden.
Ollama: nomic-embed-text-v2-moe (958 MB, 512 Token Kontext), nur ein Tag
Aktive Parameter: Das MTEB-Projekt zählt nur 141,6 Mio. aktive Parameter, weil es die rund 192 Mio. Embedding-Parameter herausrechnet. Nomics 305 Mio. schließen sie ein.
Vorgänger: Nomic Embed Text v1.5 für rein englische Bestände mit längeren Abschnitten