文書(shū)から即座に回答が得られることを望まない人はいないでしょうか?それはまさに RAG チャットボットが行うことです。検索と AI 生成を組み合わせて、迅速かつ正確な応答を?qū)g現(xiàn)します。

このガイドでは、検索拡張生成 (RAG) と LangChain および Streamlit を使用してチャットボットを作成する方法を説明します。このチャットボットはナレッジ ベースから関連情報(bào)を取得し、言語(yǔ)モデルを使用して応答を生成します。

OpenAI、Gemini、または Fireworks のいずれを使用するかに関係なく、応答生成のための複數(shù)のオプションを提供しながら、各ステップを順を追って説明します。コスト効率の高いソリューションです。

検索拡張生成 (RAG) とは何ですか?

RAG は、取得 と 生成 を組み合わせて、より正確でコンテキストを認(rèn)識(shí)したチャットボット応答を提供する方法です。取得プロセスではナレッジ ベースから関連ドキュメントを取得し、生成プロセスでは言語(yǔ)モデルを使用して、取得したコンテンツに基づいて一貫した応答を作成します。これにより、言語(yǔ)モデル自體がその情報(bào)に基づいて特別にトレーニングされていない場(chǎng)合でも、チャットボットは最新のデータを使用して質(zhì)問(wèn)に回答できるようになります。

質(zhì)問(wèn)に対する答えを常に知っているわけではないパーソナル アシスタントがいると想像してください。ですから、あなたが質(zhì)問(wèn)すると、彼らは本を読んで関連する情報(bào)を見(jiàn)つけ出し（検索）、その情報(bào)を要約して自分の言葉で教えてくれます（生成）。これは基本的に RAG の仕組みであり、両方の長(zhǎng)所を組み合わせたものです。

フローチャートでは、RAG プロセスは次のようになります。

それでは、獨(dú)自のチャットボットを取得してみましょう!

---

プロジェクト環(huán)境のセットアップ

このチュートリアルでは主に Python を使用します。JS の知識(shí)がある場(chǎng)合は、説明に従って langchain js のドキュメントを読むことができます。

まず、プロジェクト環(huán)境をセットアップする必要があります。これには、プロジェクト ディレクトリの作成、依存関係のインストール、さまざまな言語(yǔ)モデルの API キーの設(shè)定が含まれます。

1. プロジェクトフォルダーと仮想環(huán)境の作成

まず、プロジェクト フォルダーと仮想環(huán)境を作成します。

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

2. 依存関係をインストールする

次に、requirements.txt ファイルを作成して、必要な依存関係をすべてリストします。

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

次に、これらの依存関係をインストールします。

pip install -r requirements.txt

3. APIキーの設(shè)定

チャットボットの応答生成には、OpenAI、Gemini、または Fireworks を使用します。好みに応じてこれらのいずれかを選択できます。

実験中であっても心配する必要はありません。Fireworks は 1 ドル相當(dāng)の API キーを無(wú)料で提供しており、gemini-1.5-フラッシュ モデルもある程度は無(wú)料です。

優(yōu)先モデルの API キーを保存する .env ファイルを設(shè)定します。

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

これらのサービスにサインアップして API キーを取得してください。 Gemini と Fireworks は両方とも無(wú)料枠を提供していますが、OpenAI は使用量に応じて課金されます。

---

ドキュメントの処理とチャンク化

チャットボットにコンテキストを與えるには、ドキュメントを処理し、管理可能なチャンクに分割する必要があります。大きなテキストは埋め込みとインデックス作成のために分割する必要があるため、これは重要です。

1. document_processor.pyを作成する

ドキュメント処理を処理するために document_processor.py という新しい Python スクリプトを作成します。

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

このスクリプトはテキスト ファイルをロードし、チャンク間でコンテキストが失われないように、小さな重複を含む約 1000 文字の小さなチャンクに分割します。処理が完了すると、ドキュメントを埋め込んでインデックスを作成する準(zhǔn)備が整います。

---

埋め込みとインデックス作成の作成

ドキュメントがチャンク化されたので、次のステップは、ドキュメントを 埋め込み (テキストの數(shù)値表現(xiàn)) に変換し、高速に取得できるようにインデックスを付けることです。 (機(jī)械は言葉より數(shù)字を理解しやすいため)

1.embedding_indexer.pyを作成する

embedding_indexer.py という名前の別のスクリプトを作成します:

pip install -r requirements.txt

このスクリプトでは、Hugging Face モデル (all-MiniLM-L6-v2) を使用して埋め込みが作成されます。次に、これらの埋め込みを FAISS ベクターストアに保存します。これにより、クエリに基づいて同様のテキスト チャンクを迅速に取得できます。

---

取得と応答生成の実裝

ここからがエキサイティングな部分です。検索と言語(yǔ)生成を組み合わせるのです。次に、ベクターストアから関連するチャンクを取得し、言語(yǔ)モデルを使用して応答を生成する RAG チェーン を作成します。 (vectorstore は、數(shù)値に変換されたデータをベクトルとして保存したデータベースです)

1. rag_chain.pyを作成する

ファイル rag_chain.py を作成しましょう:

# Uncomment your API key
# OPENAI_API_KEY=your_openai_api_key_here
# GEMINI_API_KEY=your_gemini_api_key_here
# FIREWORKS_API_KEY=your_fireworks_api_key_here

ここでは、指定した API キーに基づいて、OpenAI、Gemini、または Fireworks のいずれかを選択します。 RAG チェーンは、最も関連性の高い上位 3 つのドキュメントを取得し、言語(yǔ)モデルを使用して応答を生成します。

予算や使用方法の好みに応じてモデルを切り替えることができます。Gemini と Fireworks は無(wú)料ですが、OpenAI は使用量に応じて課金されます。

---

チャットボットインターフェイスの構(gòu)築

次に、RAG チェーンを使用してユーザー入力を受け取り、応答を生成するシンプルなチャットボット インターフェイスを構(gòu)築します。

1.chatbot.pyを作成する

chatbot.py という名前の新しいファイルを作成します:

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

このスクリプトは、ユーザー入力を継続的にリッスンし、RAG チェーンを通じて処理して、生成された応答を返すコマンドライン チャットボット インターフェイスを作成します。

---

Streamlit UI の作成

Streamlit を使用して Web インターフェイスを構(gòu)築し、チャットボットをさらに使いやすくしましょう。これにより、ユーザーはブラウザを通じてチャットボットと対話(huà)できるようになります。

1.app.pyを作成する

app.py を作成します:

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

2.Streamlitアプリを?qū)g行する

Streamlit アプリを?qū)g行するには、以下を使用します:

pip install -r requirements.txt

これにより、テキスト ファイルをアップロードし、質(zhì)問(wèn)し、チャットボットから回答を受け取ることができる Web インターフェイスが起動(dòng)します。

---

パフォーマンスの最適化

パフォーマンスを向上させるために、テキストを分割するときにチャンク サイズとオーバーラップを試してみることができます。チャンクが大きいほど、より多くのコンテキストが提供されますが、チャンクが小さいほど、検索が高速になる可能性があります。 Streamlit キャッシュを使用して、埋め込みの生成などの高価な操作の繰り返しを避けることもできます。

コストを最適化したい場(chǎng)合は、クエリの複雑さに応じて OpenAI、Gemini、または Fireworks を切り替えることができます。OpenAI を使用し、コストを削減するための簡(jiǎn)単な質(zhì)問(wèn)には Gemini または Fireworks を使用します。

---

まとめ

おめでとうございます!獨(dú)自の RAG ベースのチャットボットが正常に作成されました。可能性は無(wú)限大です:

自分専用の學(xué)習(xí)仲間を作成しましょう。
長(zhǎng)いドキュメントを読む必要はもうありません。「ざっと書(shū)き出してみる」だけで、迅速かつ正確な回答が得られます。

旅はここから始まり、可能性は無(wú)限大です!

---

GitHub で私の作品をフォローできます。お?dú)葺Xにご連絡(luò)ください。私の DM は常に X と LinkedIn でオープンしています。

以上が獨(dú)自の AI RAG チャットボットを作成する: LangChain を使用した Python ガイドの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。