Gemini Embedding：Google Gemini AIフレームワークの下にある多言語テキスト埋め込みモデル

単語の埋め込みは、機(jī)械翻訳、質(zhì)問と回答、情報(bào)の取得など、ヒンディー語の自然言語処理（NLP）タスクに不可欠です。これらの埋め込みは、単語のセマンティックプロパティをキャプチャし、より正確でコンテキスト指向のNLPアプリケーションを可能にします。多數(shù)のヒンディー語のスピーカーとヒンディー語の數(shù)が増えていることを考えると、これらの言語のNLPパフォーマンスを改善するには、高品質(zhì)の埋め込みが重要です。カスタマイズされた埋め込みは、インドの言語ファミリーのユニークな言語特性とリソースの制限を具體的に解決できます。新しくリリースされたジェミニ埋め込みモデルは、多言語のテキスト埋め込みの大幅な進(jìn)歩を表しており、Googleの強(qiáng)力なGemini AIフレームワークを活用して、100を超える言語で最先端のパフォーマンスを?qū)g現(xiàn)しています。

Gemini Embeddingモデルは、分類、検索、セマンティック検索などのタスクに優(yōu)れており、効率と精度が向上します。 Gemini Embeddingは、より大きな入力スケールと高次元の出力をサポートすることにより、より豊富なテキスト表現(xiàn)を提供し、さまざまなアプリケーションで広く使用できるようにします。

學(xué)習(xí)目標(biāo)

• Gemini EmbeddingとGemini LLMとの統(tǒng)合について學(xué)びます。
• Gemini Embedを使用してヒンディー語のドキュメントを取得するための実用的なチュートリアル。
• Jina AIの埋め込みおよび多言語-E5-Largeとの比較分析。
• 多言語のテキスト検索機(jī)能とアプリケーションに関する洞察。

*この記事は、***データサイエンスブログマラソンの一部として公開されています。 ***

目次

• ジェミニの埋め込みとは何ですか？
• Gemini Embeddingの主要な機(jī)能
• ジェミニ埋め込みモデルアーキテクチャ
• 他の多言語埋め込みモデルとの比較
• Gemini Embeddingを使用した検索とJina Ai Embeddingおよび多言語-E5-Largeと比較
  • ステップ1。必要なライブラリをインストールします
  • ステップ2。データをロードします
  • ステップ3。データをブロックします
  • ステップ4。データをベクトルデータベースに保存します
  • ステップ5。データベースをクエリします
  • ステップ6。JinaAI埋め込みと比較します
• 埋め込まれた検索出力の比較
  • 説明する
• 結(jié)論は
• よくある質(zhì)問

ジェミニの埋め込みとは何ですか？

2025年3月、GoogleはGemini APIで使用できる新しい実験的なGemini Embedding Text Model（Gemini-Embedding-Exp-03-07）をリリースしました。

高度な埋め込みモデルは、ジェミニモデルから生じていました。これは、言語と微妙なコンテキストのニュアンスについてのジェミニの深い理解を継承すると言われており、さまざまなアプリケーションで広く使用できるようにします。 MTEB多言語ランキングで最初にランクされています。

Gemini Embeddingは、同様のセマンティクスを持つテキスト入力が互いに近いベクトル空間のベクトルにマッピングされる密なベクトルとしてテキストを表します?，F(xiàn)在、100を超える言語をサポートしており、その埋め込みは検索や分類などのさまざまなタスクに使用できます。

Gemini Embeddingの主要な機(jī)能

• 強(qiáng)力な多言語機(jī)能：このモデルは、英語などの高リソース言語だけでなく、アッサムやマケドニアなどの低リソース言語でも、100を超える言語で優(yōu)れたパフォーマンスを示しています。
• 最大8000個(gè)の入力タグの処理：この強(qiáng)力な機(jī)能により、モデルは切り捨てなしで長(zhǎng)いドキュメントまたは複雑なクエリをシームレスに処理できるようになり、多くの既存の組み込みモデルを超える方法でコンテキストと意味を維持できます。
• 3K寸法の出力寸法：このモデルは、最大3072までの埋め込みディメンションを生成し、タスク固有の最適化のために768や1536などのサブ次元性をサポートします。
• 印象的なパフォーマンス：ジェミニ埋め込みは、平均タスクスコアが68.32で、大規(guī)模なテキストエンミングベンチマーク（MTEB）で最初にランク付けされ、最も近い競(jìng)合他社を大幅に超えています。

ジェミニ埋め込みモデルアーキテクチャ

Gemini Embeddingのコアは、変圧器アーキテクチャに基づいており、Gemini LLMから初期化されています。この基礎(chǔ)は、モデルの言語構(gòu)造とセマンティクスの深い理解を提供します。このモデルは、雙方向の注意メカニズムを使用して入力シーケンスを処理して、埋め込みを生成するときに単語またはフレーズの完全なコンテキストを考慮することができます。

1. 入力シーケンスtはM（雙方向の注意を伴う変圧器、ジェミニから初期化）で処理され、マーカー埋め込みシーケンスが得られます。
2. 入力內(nèi)のすべての情報(bào)を表す単一の埋め込みを生成するには、プーリング関數(shù)が適用されます。
3. 最後に、線形投影が適用され、埋め込みをターゲットディメンションにスケーリングし、最終的な出力埋め込みになります。

損失関數(shù)：Gemini Embeddingモデルは、バッチ內(nèi)の否定的な例でノイズ比較推定（NCE）損失を使用してトレーニングされます。正確な損失は、トレーニングフェーズによってわずかに異なります。一般的に、トレーニングの例には、クエリ、正のターゲット、および（オプションの）難しいターゲットが含まれます。

トレーニング戦略

1. 事前調(diào)整：この段階では、モデルはクエリターゲットペアを含む大規(guī)模な多様なデータセットでトレーニングされています。この露出は、タスクをコーディングするための大規(guī)模な言語モデルのパラメーターを調(diào)整し、適応性の基礎(chǔ)を築きます。
2. 微調(diào)整：第2フェーズでは、モデルは、クエリポジティブディフフィックネガティブな例のトリプルを含むタスク固有のデータセットを使用します。このプロセスでは、より小さなバッチサイズと適切にキュレーションされたデータセットを使用して、ターゲットタスクのパフォーマンスを向上させます。

また読む：gemini埋め込み：ジェミニからのユニバーサル埋め込み

他の多言語埋め込みモデルとの比較

ヒンディー語のドキュメントの検索を最新のジェミニ埋め込みと比較し、ジーナAIの埋め込みおよび多言語E5-large埋め込みと比較します。次の表に示すように、Gemini EmbeddingとJina Ai Embeddingは、最大數(shù)のタグの點(diǎn)で高く、モデルが長(zhǎng)いドキュメントまたは複雑なクエリを処理できるようにします。さらに、次の表に示すように、ジェミニの埋め込みは、単語間のより詳細(xì)で微妙なセマンティックな関係をキャプチャするより高い埋め込み次元を持ち、モデルが複雑な言語パターンと意味の微妙な違いを表すことができます。

Gemini Embeddingを使用した検索とJina Ai Embeddingおよび多言語-E5-Largeと比較

以下の実用的なチュートリアルでは、ヒンディー語のドキュメントの検索と新しくリリースされた最新のジェミニ埋め込みと比較してから、Jina ai埋め込みおよび多言語E5-large埋め込みと比較します。

ステップ1。必要なライブラリをインストールします

<code>!pip install langchain-community !pip install chromadb</code>

ステップ2。データをロードします

Webサイトのヒンディー語データを使用して、ヒンディー語の検索でのGemini Embeddingのパフォーマンスを評(píng)価しました。

 <code>from langchain_community.document_loaders import WebBaseLoader loader = WebBaseLoader("https://ckbirlahospitals.com/rbh/blog/pregnancy-early-symptoms-in-hindi") data = loader.load()</code>

ステップ3。データをブロックします

次のコードでは、recursiveCharacterTextSplitterを使用して、大きなテキストドキュメントを重複せずに500文字のチャンクに分割します。次に、この分割をDataVariableに適用し、結(jié)果をAll_Splitsに保存します。 gemini埋め込みAPIのレート制限により、10個(gè)のスプリットのみを使用します。

 <code>from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0) all_splits = text_splitter.split_documents(data) all_splits = all_splits[:10]</code>

ステップ4。データをベクトルデータベースに保存します

最初に、「GeminiembedingFunction」というクラスを作成します。これは、APIの埋め込みを照會(huì)し、入力クエリの埋め込み値を返すのに役立ちます。次に、「create_chroma_db」という関數(shù)を作成して、データと埋め込みを保存するChromaDBにコレクションを作成します。

 <code>import chromadb from chromadb import Documents, EmbeddingFunction, Embeddings class GeminiEmbeddingFunction(EmbeddingFunction): def __call__(self, input: Documents) -> Embeddings: title = "Custom query" return client.models.embed_content( model="gemini-embedding-exp-03-07", contents=input).embeddings[0].values def create_chroma_db(documents, name): chroma_client = chromadb.Client() db = chroma_client.create_collection(name=name, embedding_function=GeminiEmbeddingFunction()) for i, d in enumerate(documents): db.add( documents=d.page_content, ids=str(i) ) return db db = create_chroma_db(all_splits, "datab")</code>

ステップ5。データベースをクエリします

<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

ステップ6。JinaAI埋め込みと比較します

次のコードでは、ハグするフェイストランスモデルを使用して、カスタム埋め込み関數(shù)を定義し、テキスト入力を処理して埋め込みを生成する方法を定義しています。

1. 変圧器からのオートトケン剤とオートメーターは、前処理されたモデル（Jinaai/Jina-embeddings-V3）をロードし、ChromaDBから埋め込み機(jī)能をインポートして、カスタム埋め込みを作成するために使用されます。
2. 平均的な関數(shù)：この関數(shù)は、モデルでプーリング操作を?qū)g行することにより、モデルの隠された狀態(tài)を集約し、注意マスクを取得しながらシーケンスの長(zhǎng)さを平均します（塗りつぶしマークを無視します）。
3. CustomHuggingfaceクラス：テキストをトークン化し、モデルにフィードし、平均的な_pool関數(shù)を使用して埋め込みを計(jì)算します。結(jié)果は埋め込みリストとして返されます。

 <code>from transformers import AutoTokenizer, AutoModel from chromadb import EmbeddingFunction tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v3') model = AutoModel.from_pretrained('jinaai/jina-embeddings-v3') # the model returns many hidden states per document so we must aggregate them def average_pool(last_hidden_states, attention_mask): last_hidden = last_hidden_states.masked_fill(~attention_mask[...,None].bool(), 0.0) return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[...,None] class CustomHuggingFace(EmbeddingFunction): def __call__(self, texts): queries = [f'query: {text}' for text in texts] batch_dict = tokenizer(texts, max_length=512, padding=True, truncation=True, return_tensors='pt') outputs = model(**batch_dict) embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask']) return embeddings.tolist()</code>

クエリ

<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

多言語-E5-Large Embedを選択するために、トークン剤とモデルを「intfloat/multilingual-e5-large-instruct」に置き換えるだけです。

埋め込まれた検索出力の比較

説明する

上記のヒンディー語の出力からわかるように、Gemini Embeddingを使用して、Jina AI EmbeddingとMultilingual-E5-Largeを使用しながら、7つのクエリから5つの正しい出力を取得します。正しい応答は3つしかありません。

これは、MTEBベンチマークに反映されているように、ジェミニの埋め込みはうまく機(jī)能し、他の埋め込みモデルよりもヒンディー語などの多言語を扱うことを示しています。

結(jié)論は

要するに、ジェミニの埋め込みは、特にヒンディー語などのヒンディー語で、多言語NLPの大幅な進(jìn)歩を表しています。強(qiáng)力な多言語機(jī)能、大規(guī)模な入力サイズのサポート、MTEBなどのベンチマークでの優(yōu)れたパフォーマンスにより、Geminiは検索、分類、セマンティック検索などのタスクに優(yōu)れています。実用的な比較を通じて、ジェミニのパフォーマンスは他のモデルよりも優(yōu)れており、より高い精度と効率を提供し、多言語NLPを促進(jìn)するための貴重なツールになります。

主な利益

• ヒンディー語の単語埋め込みの重要性：高品質(zhì)の埋め込みにより、翻訳、質(zhì)疑応答、検索などのNLPタスクが強(qiáng)化され、言語の課題とリソースギャップの問題が解決します。
• Gemini Embedding Model ：GoogleのGemini Embeddingは、低リソース言語を含む100を超える言語をカバーする多言語テキスト処理にAIフレームワークを利用しています。
• 主な機(jī)能：8000のマーカーと3072次元の埋め込みをサポートし、長(zhǎng)いドキュメントと複雑なクエリの効率的な処理を可能にします。
• 印象的なパフォーマンス：平均タスクスコアは68.32で、MTEB多言語ランキングで1位にランクされており、多言語NLPでそのパワーを示しています。

この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用できます。

よくある質(zhì)問

Q1。ジェミニ埋め込みモデルは何ですか？ A：Gemini EmbeddingモデルはGoogleのGemini AIに基づいており、ヒンディー語を含む100を超える言語に一流の多言語テキスト埋め込みを提供します。

Q2。 A：Gemini Embeddingは多言語サポートに優(yōu)れており、8000のマーカーと出力3072寸法を処理し、分類、検索、セマンティック検索の効率を確保できます。

Q3。回答：ジェミニ埋め込みは、アッサムやマケドニアなどの英語や低リソースの言語などの高リソース言語でうまく機(jī)能します。 MTEB多言語のランキングでナンバーワンにランクされており、その強(qiáng)力な多言語機(jī)能を示しています。

Q4。 A：モデルはGemini LLMから初期化され、雙方向の注意を払ったトランスアーキテクチャを使用して、コンテキストと意味をキャプチャする高品質(zhì)のテキスト埋め込みを生成します。

Q5。 A：Gemini Embeddingは、トレーニングのためにバッチ內(nèi)の否定的な例でノイズ比較推定（NCE）損失を使用します。 2つのトレーニングフェーズを通過します。大規(guī)模なデータセットでの事前調(diào)整とタスク固有のデータセットで、NLPパフォーマンスを改善します。

以上がジェミニ埋め込みと多言語E5-large＆jinaの比較の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。