Gemini -Einbettung: Mehrsprachiger Texteinbettungsmodell unter Google Gemini AI Framework

Die Worteinbettung ist für Aufgaben (natürliche Sprachverarbeitung) in Hindi von entscheidender Bedeutung, wie z. B. maschinelle übersetzung, Frage und Beantwortung sowie das Abrufen von Informationen. Diese Einbettungen erfassen die semantischen Eigenschaften von W?rtern und erm?glichen eine genauere und kontextorientierte NLP-Anwendungen. Angesichts der gro?en Anzahl von Hindi-Sprechern und dem wachsenden Zahleninhalt der Hindi-Sprache ist eine hochwertige Einbettung von entscheidender Bedeutung, um die NLP-Leistung in diesen Sprachen zu verbessern. Eine individuelle Einbettung kann speziell die einzigartigen Sprachmerkmale und Ressourcenbeschr?nkungen der indischen Sprachfamilie l?sen. Das neu ver?ffentlichte Gemini-Einbettungsmodell stellt einen signifikanten Fortschritt bei der Einbettung von mehrsprachigen Text dar und nutzt Googles leistungsstarke Gemini-AI-Framework von Google, um eine modernste Leistung in über 100 Sprachen zu erzielen.

Das Gemini -Einbettungsmodell ist bei Aufgaben wie Klassifizierung, Abruf und semantischer Suche gut und bietet eine gr??ere Effizienz und Genauigkeit. Durch die Unterstützung gr??erer Eingangsskalen und h?herdimensionalen Ausg?nge bietet Gemini -Einbettung reichhaltigere Textdarstellungen, sodass sie in einer Vielzahl von Anwendungen h?ufig verwendet werden k?nnen.

Lernziele

• Erfahren Sie mehr über die Gemini -Einbettung und seine Integration mit Gemini LLM.
• Praktische Tutorials zum Abrufen von Hindi -Dokumenten unter Verwendung von Gemini Embed.
• Vergleichende Analyse mit Jina AI Einbettung und mehrsprachiger E5-Large.
• Erkenntnisse über mehrsprachige Funktionen und Anwendungen von Textbereichen.

*Dieser Artikel wird als Teil des *** Data Science Blog Marathon ver?ffentlicht . ***

Inhaltsverzeichnis

• Was ist Gemini eingebettet?
• Schlüsselmerkmale der Gemini -Einbettung
• Gemini Embedded Model Architecture
• Vergleich mit anderen mehrsprachigen Einbettungsmodellen
• Abrufen mit Gemini-Einbettung und Vergleich zu Jina AI Einbettung und mehrsprachiger E5-Large
  • Schritt 1. Installieren Sie die erforderlichen Bibliotheken
  • Schritt 2. Laden Sie die Daten
  • Schritt 3. Blockieren Sie die Daten
  • Schritt 4. Speichern Sie die Daten in der Vektor -Datenbank
  • Schritt 5. Abfragen Sie die Datenbank ab
  • Schritt 6. Vergleiche mit Jina AI Einbettung
• Vergleich der Einbett -Suchausgabe
  • erkl?ren
• abschlie?end
• H?ufig gestellte Fragen

Was ist Gemini eingebettet?

Im M?rz 2025 ver?ffentlichte Google ein neues experimentelles Gemini-Einbettungstextmodell (Gemini-Embedding-EXP-03-07), das in der Gemini-API verwendet werden kann.

Das erweiterte Einbettungsmodell stammt aus dem Gemini -Modell, das das tiefgreifende Verst?ndnis von Nuancen von Sprache und subtilen Kontexten von Gemini erben und es erm?glicht, in einer Vielzahl von Anwendungen weit verbreitet zu sein. Es steht in der MTEB -mehrsprachigen Rangliste an erster Stelle.

Die Gemini -Einbettung repr?sentiert Text als dichte Vektoren, bei denen Texteingaben mit ?hnlicher Semantik Vektoren im Vektorraum zugeordnet werden, die nahe beieinander liegen. Derzeit unterstützt es über 100 Sprachen, und seine Einbettung kann für eine Vielzahl von Aufgaben wie Abruf und Klassifizierung verwendet werden.

Schlüsselmerkmale der Gemini -Einbettung

• Starke mehrsprachige F?higkeiten : Dieses Modell zeigt eine herausragende Leistung in über 100 Sprachen, nicht nur in hochressourcen-Sprachen wie Englisch, sondern auch in Sprachen mit niedrigem Ressourcen wie Assamesen und Mazedonier.
• Verarbeitung von bis zu 8000 Eingabetags : Mit dieser leistungsstarken F?higkeit k?nnen Modelle ohne Kürzung nahtlos lange Dokumente oder komplexe Abfragen verarbeiten und so den Kontext und die Bedeutung auf eine Weise aufrechterhalten, die über viele vorhandene eingebettete Modelle hinausgeht.
• Ausgangsabmessungen für 3K-Dimensionen : Dieses Modell erzeugt eine Einbettungsdimension bis zu 3072 und unterstützt die subdimensionale Abmessung wie 768 und 1536 für die aufgabenspezifische Optimierung.
• Beeindruckende Leistung : Gemini -Einbettung in der massiven Texteinbettungsbenchmark (MTEB) mit einem durchschnittlichen Aufgabenwert von 68,32, der seinen engsten Konkurrenten erheblich übertrifft.

Gemini Embedded Model Architecture

Der Kern der Gemini -Einbettung basiert auf der Transformatorarchitektur und aus Gemini LLM initialisiert. Diese Grundlage bietet ein tiefes Verst?ndnis der Sprachstruktur und der Semantik für das Modell. Das Modell verwendet einen bidirektionalen Aufmerksamkeitsmechanismus, um Eingangssequenzen so zu verarbeiten, dass es den vollst?ndigen Kontext eines Wortes oder einer Phrase beim Erstellen einer Einbettung berücksichtigen kann.

1. Die Eingangssequenz T wird durch M (ein Transformator mit bidirektionaler Aufmerksamkeit, initialisiert aus Gemini) verarbeitet, was zu einer Marker -Einbettungssequenz führt.
2. Um eine einzelne Einbettung zu generieren, die alle Informationen in der Eingabe darstellt, wird eine Pooling -Funktion angewendet.
3. Schlie?lich wird eine lineare Projektion angewendet, um die Einbettung in die Zieldimension zu skalieren, was zur endgültigen Ausgangsbettung führt.

Verlustfunktion : Das Gemini-Einbettungsmodell wird unter Verwendung von NCCE-Verlusten (Rauschenvergleichssch?tzungen) mit negativen Beispielen in den Batch trainiert. Der genaue Verlust variiert je nach Trainingsphase geringfügig. Im Allgemeinen umfasst ein Trainingsbeispiel eine Abfrage, ein positives Ziel und (optional) ein schwieriges Ziel.

Trainingsstrategien

1. Vorabstimmung : In diesem Stadium wird das Modell auf einem gro?en diversifizierten Datensatz mit Abfragestellpaaren trainiert. Diese Belichtung passt die Parameter gro?er Sprachmodelle für die Codierung von Aufgaben an und legt den Grundstein für ihre Anpassungsf?higkeit.
2. Feinabstimmung : In der zweiten Phase verwendet das Modell einen aufgabenspezifischen Datensatz mit einem dreifachen Abfrage-positiv-difficult-negativen Beispielen. Dieser Prozess verwendet kleinere Chargengr??en und gut kuratierte Datens?tze, um die Leistung von Zielaufgaben zu verbessern.

Lesen Sie auch: Gemini Einbettung: Universelle Einbettung aus Gemini

Vergleich mit anderen mehrsprachigen Einbettungsmodellen

Wir vergleichen die Suche nach Hindi-Dokumenten mit den neuesten neu ver?ffentlichten Gemini-Einbettungen und vergleichen sie dann mit Jina AI-Einbettungen und mehrsprachigen E-E5-Large-Einbettungen. Wie in der folgenden Tabelle gezeigt, sind die Einbettung von Gemini und die Einbettung von Jina AI hinsichtlich der maximalen Anzahl von Tags hoch, sodass das Modell lange Dokumente oder komplexe Abfragen verarbeiten kann. Darüber hinaus weisen Gemini -Einbettungen, wie in der folgenden Tabelle gezeigt, eine h?here Einbettungsdimension auf, die detailliertere und differenziertere semantische Beziehungen zwischen W?rtern erfasst, sodass Modelle nuancierte Unterschiede in komplexen Sprachmustern und -bedeutungen darstellen k?nnen.

Abrufen mit Gemini-Einbettung und Vergleich zu Jina AI Einbettung und mehrsprachiger E5-Large

Im folgenden praktischen Tutorial vergleichen wir die Suche nach Hindi-Dokumenten mit den neuesten neu ver?ffentlichten Gemini-Einbettungen und vergleichen sie dann mit Jina AI-Einbettungen und mehrsprachigen E5-Large-Einbettungen.

Schritt 1. Installieren Sie die erforderlichen Bibliotheken

 <code>!pip install langchain-community !pip install chromadb</code>

Schritt 2. Laden Sie die Daten

Wir haben Hindi -Daten von der Website verwendet, um die Leistung von Gemini -Einbetten in das Abrufen von Hindi -Sprachen zu bewerten.

 <code>from langchain_community.document_loaders import WebBaseLoader loader = WebBaseLoader("https://ckbirlahospitals.com/rbh/blog/pregnancy-early-symptoms-in-hindi") data = loader.load()</code>

Schritt 3. Blockieren Sie die Daten

Der folgende Code verwendet recursivecharactertextSplitter, um ein gro?es Textdokument ohne überlappung in 500-Charakter-Stücke aufzuteilen. Anschlie?end wird diese Aufteilung auf den Datavariable angewendet und das Ergebnis in All_Splits gespeichert. Aufgrund der Ratengrenzen der Gemini -Einbettungs -API verwenden wir nur 10 Spaltungen.

 <code>from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0) all_splits = text_splitter.split_documents(data) all_splits = all_splits[:10]</code>

Schritt 4. Speichern Sie die Daten in der Vektor -Datenbank

Wir erstellen zun?chst eine Klasse namens "Geminiembeddingfunction", mit der die Gemini -Einbettung der API abfragt und den eingebetteten Wert der Eingabebestand zurückgibt. Wir erstellen dann eine Funktion namens "create_chroma_db", um eine Sammlung in Chromadb zu erstellen, die sowohl Daten als auch einbettet.

 <code>import chromadb from chromadb import Documents, EmbeddingFunction, Embeddings class GeminiEmbeddingFunction(EmbeddingFunction): def __call__(self, input: Documents) -> Embeddings: title = "Custom query" return client.models.embed_content( model="gemini-embedding-exp-03-07", contents=input).embeddings[0].values def create_chroma_db(documents, name): chroma_client = chromadb.Client() db = chroma_client.create_collection(name=name, embedding_function=GeminiEmbeddingFunction()) for i, d in enumerate(documents): db.add( documents=d.page_content, ids=str(i) ) return db db = create_chroma_db(all_splits, "datab")</code>

Schritt 5. Abfragen Sie die Datenbank ab

 <code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

Schritt 6. Vergleiche mit Jina AI Einbettung

Der folgende Code verwendet das Umarmungsgesichts -Transformatormodell, um eine benutzerdefinierte Einbettungsfunktion zu definieren, sowie eine M?glichkeit, die Texteingaben zu verarbeiten, um Einbettungsdings zu generieren.

1. Autotokenizer und Automodel von Transformatoren werden verwendet, um vorbereitete Modelle (Jinaai/Jina-Embeddings-V3) zu laden und eine Einbettdingfunktion von Chromadb zur Erstellung von benutzerdefinierten Einbettungen zu importieren.
2. Durchschnittsfunktion: Diese Funktion aggregiert die verborgenen Zust?nde des Modells, indem sie Pooling -Operationen auf dem Modell ausführen, durchschnittlich die Sequenzl?nge, w?hrend die Aufmerksamkeitsmaske aufgenommen wird (ignoriert die Füllmarke).
3. CustomHuggingFace -Klasse: IT tokenisiert Text, füttert ihn in das Modell und berechnet die Einbettung mit der Funktion AVIDE_POOL. Das Ergebnis wird als eingebettete Liste zurückgegeben.

 <code>from transformers import AutoTokenizer, AutoModel from chromadb import EmbeddingFunction tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v3') model = AutoModel.from_pretrained('jinaai/jina-embeddings-v3') # the model returns many hidden states per document so we must aggregate them def average_pool(last_hidden_states, attention_mask): last_hidden = last_hidden_states.masked_fill(~attention_mask[...,None].bool(), 0.0) return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[...,None] class CustomHuggingFace(EmbeddingFunction): def __call__(self, texts): queries = [f'query: {text}' for text in texts] batch_dict = tokenizer(texts, max_length=512, padding=True, truncation=True, return_tensors='pt') outputs = model(**batch_dict) embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask']) return embeddings.tolist()</code>

Abfrage

 <code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

Bei der Auswahl der mehrsprachigen Einbettung von mehrsprachigen E5-Largen ersetzen wir einfach den Tokenizer und das Modell durch "Intfloat/mehrsprachige E5-Large-Instruction".

Vergleich der Einbett -Suchausgabe

erkl?ren

Wie aus der obigen Hindi-Ausgabe ersichtlich ist, erhalten wir unter Verwendung von Gemini-Einbettung 5 korrekte Ausg?nge aus 7 Abfragen, w?hrend wir Jina AI-Einbettung und mehrsprachige E5-Large verwenden, nur 3 korrekte Antworten erhalten.

Dies zeigt, dass Gemini -Einbettungen, wie sich in der MTEB -Benchmark widerspiegelt, gut abschneiden und mehrsprachige wie Hindi besser abwickeln als andere Einbettungsmodelle.

abschlie?end

Kurz gesagt, Gemini -Einbettung stellt einen signifikanten Fortschritt bei mehrsprachiger NLP dar, insbesondere für Hindi -Sprachen wie Hindi. Mit seinen starken mehrsprachigen F?higkeiten, der Unterstützung gro?er Eingangsgr??en und der überlegenen Leistung in Benchmarks wie MTEB Excels in Aufgaben wie Abruf, Klassifizierung und semantische Suche. Durch praktische Vergleiche ist die Leistung von Gemini besser als andere Modelle, was eine h?here Genauigkeit und Effizienz bietet, was es zu einem wertvollen Instrument zur F?rderung mehrsprachiger NLP macht.

Hauptgewinne

• Bedeutung der Hindi-Sprachwort-Einbettung : Eine hochwertige Einbettung verbessert NLP-Aufgaben wie übersetzung, Frage-und-Antwort und Abruf, L?sung von Sprachherausforderungen und Ressourcenlückenproblemen.
• Gemini-Einbettungsmodell : Googles Gemini-Einbettung verwendet sein KI-Framework für die mehrsprachige Textverarbeitung und deckt mehr als 100 Sprachen ab, einschlie?lich Sprachen mit niedrigem Ressourcen.
• Schlüsselmerkmale : Unterstützt 8000 Markierungen und 3072-dimensionale Einbettungen, wodurch eine effiziente Verarbeitung langer Dokumente und komplexer Abfragen erm?glicht wird.
• Beeindruckende Leistung : Rang 1 in der MTEB -mehrsprachigen Rangliste mit einem durchschnittlichen Aufgabenwert von 68,32, der seine Leistung in mehrsprachiger NLP demonstriert.

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und k?nnen nach Ermessen des Autors verwendet werden.

H?ufig gestellte Fragen

Q1. A: Das Gemini-Einbettungsmodell basiert auf Googles Gemini AI und bietet erstklassige mehrsprachige Texteinbettungen für mehr als 100 Sprachen, einschlie?lich Hindi.

F2. A: Gemini einbettet Excels in mehrsprachige Unterstützung ein, kann 8000 Marker verarbeiten und 3072 Dimensionen ausgeben, um die Effizienz bei der Klassifizierung, Abruf und semantischer Suche zu gew?hrleisten.

F3. Antwort: Gemini Einbettung ist in hochressourcen-Sprachen wie englischen und ressourcenarmen Sprachen wie Assamesisch und Mazedonier gut ab. Es ist die Nummer eins in der MTEB -mehrsprachigen Rangliste und demonstriert die leistungsstarken mehrsprachigen F?higkeiten.

F4. Was ist die Architektur des Gemini -Einbettungsmodells? A: Das Modell wird aus Gemini LLM initialisiert und verwendet eine Transformatorarchitektur mit bidirektionaler Aufmerksamkeit, um hochwertige Texteinbettungen zu erzeugen, die Kontext und Bedeutung erfassen.

F5. Wie wird das Gemini -Einbettungsmodell trainiert? A: Gemini-Einbettung verwendet Verlust (Rauschvergleichssch?tzung) mit negativen Beispielen für das Training. Es durchl?uft zwei Trainingsphasen: Vor-Fine-Einstellung auf einem gro?en Datensatz und aufgabenspezifischen Datens?tzen zur Verbesserung der NLP-Leistung.

Das obige ist der detaillierte Inhalt vonVergleich der Gemini-Einbettung in mehrsprachige E5-Large & Jina. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!