Gemini Embedding: Model Embedding Teks Berbilang Bahasa di bawah Rangka Kerja Google Gemini

Penyembuhan perkataan adalah penting untuk tugas pemprosesan bahasa semulajadi (NLP) dalam bahasa Hindi, seperti terjemahan mesin, soalan dan jawapan, dan pengambilan maklumat. Lembaran ini menangkap sifat-sifat semantik kata-kata, membolehkan aplikasi NLP yang lebih tepat dan berorientasikan konteks. Memandangkan sejumlah besar penceramah Hindi dan jumlah kandungan bahasa Hindi yang semakin meningkat, embedding berkualiti tinggi adalah penting untuk meningkatkan prestasi NLP dalam bahasa-bahasa ini. Penyembuhan yang disesuaikan secara khusus dapat menyelesaikan ciri -ciri bahasa yang unik dan batasan sumber keluarga bahasa India. Model Embedding Gemini yang baru dikeluarkan mewakili kemajuan yang signifikan dalam membenamkan teks berbilang bahasa, memanfaatkan rangka kerja Gemini AI yang kuat untuk mencapai prestasi terkini dalam lebih dari 100 bahasa.

Model penyembuhan Gemini adalah baik pada tugas -tugas seperti klasifikasi, pengambilan semula dan carian semantik, memberikan kecekapan dan ketepatan yang lebih besar. Dengan menyokong skala input yang lebih besar dan output dimensi yang lebih tinggi, embedding Gemini menyediakan perwakilan teks yang lebih kaya, membolehkannya digunakan secara meluas dalam pelbagai aplikasi.

Objektif pembelajaran

• Ketahui mengenai penyembuhan Gemini dan integrasinya dengan Gemini LLM.
• Tutorial praktikal untuk mendapatkan dokumen Hindi menggunakan Gemini Embed.
• Analisis perbandingan dengan Jina AI Embedding dan Multilingual-E5-besar.
• Wawasan mengenai keupayaan dan aplikasi pengambilan teks berbilang bahasa.

*Artikel ini diterbitkan sebagai sebahagian daripada *** Blog Sains Data Marathon . ***

Jadual Kandungan

• Apakah penyembuhan Gemini?
• Ciri -ciri utama penyembuhan Gemini
• Senibina Model Terbenam Gemini
• Perbandingan dengan model penyembuhan berbilang bahasa lain
• Pengambilan semula menggunakan Gemini Embedding dan dibandingkan dengan Jina Ai Embedding dan Multilingual-E5-Large
  • Langkah 1. Pasang perpustakaan yang diperlukan
  • Langkah 2. Muatkan data
  • Langkah 3. Sekat data
  • Langkah 4. Simpan data dalam pangkalan data vektor
  • Langkah 5. Menanyakan pangkalan data
  • Langkah 6. Bandingkan dengan Jina Ai Embedding
• Perbandingan output carian tertanam
  • Jelaskan
• kesimpulannya
• Soalan yang sering ditanya

Apakah penyembuhan Gemini?

Pada bulan Mac 2025, Google mengeluarkan model teks Embedding Gemini yang baru (Gemini-Embedding-ExP-03-07) yang boleh digunakan dalam API Gemini.

Model embedding maju berasal dari model Gemini, yang dikatakan mewarisi pemahaman Gemini yang mendalam tentang nuansa bahasa dan konteks halus, membolehkannya digunakan secara meluas dalam pelbagai aplikasi. Ia menduduki tempat pertama dalam ranking berbilang bahasa MTEB.

Embedding Gemini mewakili teks sebagai vektor padat di mana input teks dengan semantik yang sama dipetakan ke vektor dalam ruang vektor yang berdekatan antara satu sama lain. Pada masa ini, ia menyokong lebih daripada 100 bahasa, dan embeddingnya boleh digunakan untuk pelbagai tugas seperti pengambilan dan klasifikasi.

Ciri -ciri utama penyembuhan Gemini

• Keupayaan berbilang bahasa yang kuat : Model ini menunjukkan prestasi cemerlang dalam lebih dari 100 bahasa, bukan sahaja dalam bahasa sumber tinggi seperti bahasa Inggeris, tetapi juga dalam bahasa sumber rendah seperti Assamese dan Macedonian.
• Memproses sehingga 8000 Tag Input : Keupayaan yang kuat ini membolehkan model untuk mengendalikan dokumen yang panjang atau pertanyaan kompleks tanpa pemotongan, dengan itu mengekalkan konteks dan makna dengan cara yang melampaui banyak model tertanam yang sedia ada.
• Dimensi output untuk dimensi 3K : Model ini menghasilkan dimensi tertanam sehingga 3072 dan menyokong sub-dimensi seperti 768 dan 1536 untuk pengoptimuman khusus tugas.
• Prestasi yang mengagumkan : Gemini Embedding menduduki tempat pertama dalam penanda aras embedding teks besar -besaran (MTEB), dengan skor tugas purata 68.32, dengan ketara melampaui pesaing terdekatnya.

Senibina Model Terbenam Gemini

Inti embedding Gemini didasarkan pada seni bina pengubah dan dimulakan dari Gemini LLM. Asas ini memberikan pemahaman yang mendalam tentang struktur bahasa dan semantik untuk model. Model ini menggunakan mekanisme perhatian dua arah untuk memproses urutan input supaya ia dapat mengambil kira konteks penuh perkataan atau frasa ketika menghasilkan embedding.

1. Urutan input T diproses oleh M (pengubah dengan perhatian bidirectional, diasaskan dari Gemini), mengakibatkan urutan penanda penanda.
2. Untuk menghasilkan satu penyembuhan yang mewakili semua maklumat dalam input, fungsi penyatuan digunakan.
3. Akhirnya, unjuran linear digunakan untuk skala embedding ke dimensi sasaran, mengakibatkan penanaman output akhir.

Fungsi Kerugian : Model Embedding Gemini dilatih menggunakan kerugian anggaran perbandingan bunyi (NCE) dengan contoh negatif dalam batch. Kehilangan sebenar akan berbeza -beza sedikit bergantung pada fasa latihan. Secara umumnya, contoh latihan termasuk pertanyaan, sasaran positif, dan (pilihan) sasaran yang sukar.

Strategi latihan

1. Pra-Penalaan : Pada peringkat ini, model dilatih pada dataset pelbagai pelbagai yang mengandungi pasangan sasaran pertanyaan. Pendedahan ini menyesuaikan parameter model bahasa besar untuk tugas pengekodan, meletakkan asas untuk penyesuaian mereka.
2. Penalaan halus : Pada fasa kedua, model menggunakan dataset khusus tugas yang mengandungi tiga contoh pertanyaan-positif-dificult-negatif. Proses ini menggunakan saiz batch yang lebih kecil dan dataset yang dikendalikan dengan baik untuk meningkatkan prestasi tugas sasaran.

Baca Juga: Gemini Embedding: Universal Embedding dari Gemini

Perbandingan dengan model penyembuhan berbilang bahasa lain

Kami membandingkan pencarian dokumen Hindi dengan embedding Gemini yang baru dikeluarkan dan kemudian membandingkannya dengan embeddings Jina AI dan embeddings berbilang bahasa-E5-besar. Seperti yang ditunjukkan dalam jadual berikut, Gemini Embedding dan Jina Ai Embedding adalah tinggi dari segi bilangan maksimum tag, yang membolehkan model mengendalikan dokumen panjang atau pertanyaan kompleks. Tambahan pula, seperti yang ditunjukkan dalam jadual berikut, embeddings Gemini mempunyai dimensi embedding yang lebih tinggi yang menangkap hubungan semantik yang lebih terperinci dan bernuansa antara kata -kata, yang membolehkan model mewakili perbezaan nuanced dalam corak bahasa dan makna yang kompleks.

Pengambilan semula menggunakan Gemini Embedding dan dibandingkan dengan Jina Ai Embedding dan Multilingual-E5-Large

Dalam tutorial praktikal berikut, kami membandingkan carian dokumen Hindi dengan embedding Gemini yang baru dikeluarkan dan kemudian membandingkannya dengan embeddings Jina AI dan embeddings berbilang bahasa-E5-besar.

Langkah 1. Pasang perpustakaan yang diperlukan

 <code>!pip install langchain-community !pip install chromadb</code>

Langkah 2. Muatkan data

Kami menggunakan data Hindi dari laman web untuk menilai prestasi Gemini yang membenamkan dalam pengambilan bahasa Hindi.

 <code>from langchain_community.document_loaders import WebBaseLoader loader = WebBaseLoader("https://ckbirlahospitals.com/rbh/blog/pregnancy-early-symptoms-in-hindi") data = loader.load()</code>

Langkah 3. Sekat data

Kod berikut menggunakan recursiveCharactertextsplitter untuk memecah dokumen teks besar ke dalam 500 aksara karakter tanpa pertindihan. Ia kemudian menggunakan perpecahan ini ke Datavariable dan menyimpan hasilnya dalam All_splits. Oleh kerana batas kadar API embedding Gemini, kami hanya menggunakan 10 pecahan.

 <code>from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0) all_splits = text_splitter.split_documents(data) all_splits = all_splits[:10]</code>

Langkah 4. Simpan data dalam pangkalan data vektor

Kami mula -mula mencipta kelas yang dipanggil "GeminiembeddingFunction" yang membantu menanyakan API penyembuhan Gemini dan mengembalikan nilai tertanam pertanyaan input. Kami kemudian membuat fungsi yang dipanggil "create_chroma_db" untuk membuat koleksi di Chromadb yang akan menyimpan data serta dibenamkan.

 <code>import chromadb from chromadb import Documents, EmbeddingFunction, Embeddings class GeminiEmbeddingFunction(EmbeddingFunction): def __call__(self, input: Documents) -> Embeddings: title = "Custom query" return client.models.embed_content( model="gemini-embedding-exp-03-07", contents=input).embeddings[0].values def create_chroma_db(documents, name): chroma_client = chromadb.Client() db = chroma_client.create_collection(name=name, embedding_function=GeminiEmbeddingFunction()) for i, d in enumerate(documents): db.add( documents=d.page_content, ids=str(i) ) return db db = create_chroma_db(all_splits, "datab")</code>

Langkah 5. Menanyakan pangkalan data

 <code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

Langkah 6. Bandingkan dengan Jina Ai Embedding

Kod berikut menggunakan model Transformer Face Hugging untuk menentukan fungsi penyembuhan tersuai, serta cara untuk memproses input teks untuk menghasilkan embeddings.

1. Autotokenizer dan automodel dari Transformers digunakan untuk memuatkan model pretrained (Jinaai/Jina-embeddings-V3) dan import embeddingfunction dari ChromAdb untuk mewujudkan embeddings tersuai.
2. Fungsi purata_pool: Fungsi ini mengagregatkan keadaan tersembunyi model dengan melakukan operasi pengumpulan pada model, purata panjang urutan sambil mengambil topeng perhatian (mengabaikan tanda mengisi).
3. CustomHuggingFace Class: Ia memaksimumkan teks, memakannya ke dalam model, dan mengira embedding menggunakan fungsi purata_pool. Hasilnya dikembalikan sebagai senarai tertanam.

 <code>from transformers import AutoTokenizer, AutoModel from chromadb import EmbeddingFunction tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v3') model = AutoModel.from_pretrained('jinaai/jina-embeddings-v3') # the model returns many hidden states per document so we must aggregate them def average_pool(last_hidden_states, attention_mask): last_hidden = last_hidden_states.masked_fill(~attention_mask[...,None].bool(), 0.0) return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[...,None] class CustomHuggingFace(EmbeddingFunction): def __call__(self, texts): queries = [f'query: {text}' for text in texts] batch_dict = tokenizer(texts, max_length=512, padding=True, truncation=True, return_tensors='pt') outputs = model(**batch_dict) embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask']) return embeddings.tolist()</code>

Pertanyaan

 <code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

Untuk memilih Multiple-E5-Large Embed , kami hanya menggantikan Tokenizer dan Model dengan "Intfloat/Multilingual-E5-Large-Instruct".

Perbandingan output carian tertanam

Jelaskan

Seperti yang dapat dilihat dari output Hindi di atas, dengan menggunakan Gemini Embedding, kami mendapat 5 output yang betul dari 7 pertanyaan, sambil menggunakan Jina Ai Embedding dan Multilingual-E5-Large, kami hanya mendapat 3 respons yang betul.

Ini menunjukkan bahawa, seperti yang ditunjukkan dalam penanda aras MTEB, embeddings Gemini berfungsi dengan baik dan mengendalikan pelbagai bahasa seperti Hindi lebih baik daripada model penyembuhan lain.

kesimpulannya

Singkatnya, penyembuhan Gemini mewakili kemajuan yang ketara dalam NLP berbilang bahasa, terutamanya untuk bahasa Hindi seperti Hindi. Dengan keupayaan berbilang bahasa yang kuat, sokongan untuk saiz input yang besar, dan prestasi unggul dalam tanda aras seperti MTEB, Gemini cemerlang dalam tugas -tugas seperti pengambilan, klasifikasi, dan carian semantik. Melalui perbandingan praktikal, prestasi Gemini lebih baik daripada model lain, memberikan ketepatan dan kecekapan yang lebih tinggi, menjadikannya alat yang berharga untuk mempromosikan NLP berbilang bahasa.

Keuntungan utama

• Kepentingan bahasa bahasa Hindi embedding : embedding berkualiti tinggi meningkatkan tugas NLP seperti terjemahan, soal jawab, dan pengambilan semula, menyelesaikan cabaran bahasa dan masalah jurang sumber.
• Model Embedding Gemini : Embedding Gemini Google menggunakan kerangka AInya untuk pemprosesan teks berbilang bahasa, yang meliputi lebih daripada 100 bahasa, termasuk bahasa sumber rendah.
• Ciri-ciri utama : Menyokong 8000 penanda dan embeddings 3072 dimensi, membolehkan pemprosesan dokumen panjang dan pertanyaan yang kompleks.
• Prestasi yang mengagumkan : Peringkat No. 1 dalam ranking berbilang bahasa MTEB dengan skor tugas purata 68.32, menunjukkan kuasa dalam NLP berbilang bahasa.

Media yang ditunjukkan dalam artikel ini tidak dimiliki oleh Analytics Vidhya dan boleh digunakan mengikut budi bicara penulis.

Soalan yang sering ditanya

Q1. Apakah model penyembuhan Gemini? A: Model Embedding Gemini didasarkan pada Gemini AI Google dan menyediakan embedding teks berbilang bahasa yang paling tinggi untuk lebih daripada 100 bahasa termasuk Hindi.

S2. Apa yang unik mengenai penyembuhan Gemini berbanding dengan model lain? A: Gemini Embedding Excels dalam sokongan berbilang bahasa, boleh memproses 8000 penanda dan output 3072 dimensi, memastikan kecekapan dalam klasifikasi, pengambilan semula dan carian semantik.

Q3. Bagaimanakah penyembuhan Gemini melaksanakan tugas berbilang bahasa? Jawapan: Embedding Gemini berfungsi dengan baik dalam bahasa sumber tinggi seperti bahasa Inggeris dan bahasa rendah seperti Assamese dan Macedonian. Ia menduduki tempat nombor satu pada ranking berbilang bahasa MTEB, menunjukkan keupayaan berbilang bahasa yang kuat.

Q4. Apakah seni bina model penyembuhan Gemini? A: Model ini dimulakan dari Gemini LLM dan menggunakan seni bina pengubah dengan perhatian bidirectional untuk menjana embedding teks berkualiti tinggi yang menangkap konteks dan makna.

S5. Bagaimanakah model penyembuhan Gemini dilatih? A: Gemini Embedding menggunakan kerugian anggaran perbandingan bunyi (NCE) dengan contoh negatif dalam latihan untuk latihan. Ia melalui dua fasa latihan: pra-penalaan pada dataset besar dan dataset khusus tugas untuk meningkatkan prestasi NLP.

Atas ialah kandungan terperinci Perbandingan Gemini Embedding dengan Multilingual-E5-Large & Jina. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!