git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

2.2。設置虛擬環(huán)境
要隔離項目依賴性，請創(chuàng)建并激活虛擬環(huán)境。這有助于防止與其他項目的包發(fā)生沖突。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

2.3。安裝依賴項
安裝requirements.txt中列出的所需Python庫。其中包括用于語言模型的 OpenAI、用于 UI 的 Streamlit、用于 PDF 處理的 PyMuPDF 以及用于高效相似性搜索的 FAISS。

pip install -r requirements.txt

2.4。配置您的 OpenAI API 密鑰
在項目根目錄下創(chuàng)建.env文件。該文件將安全地存儲您的 OpenAI API 密鑰。將以下行添加到文件中，將 your_openai_api_key_here 替換為您的實際 API 密鑰：

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

？提示：確保將 .env 添加到您的 .gitignore 文件中，以避免在將項目推送到公共存儲庫時暴露您的 API 密鑰。

第 3 步：了解項目結構
以下是目錄結構的快速概述，可幫助您瀏覽代碼：
以下是目錄結構的快速概述，可幫助您瀏覽代碼：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

每個文件都有特定的作用：

• app.py：管理 Streamlit 界面，允許用戶上傳文件和提問。
• document_loader.py：使用 PyMuPDF 處理 PDF 的加載和處理。
• retriever.py：使用 FAISS 索引文檔文本并根據用戶查詢檢索相關部分。
• main.py：將所有內容聯系在一起，包括調用 OpenAI 的 API 來生成響應。

第 4 步：構建核心代碼
現在，讓我們深入了解該項目的主要組成部分。

4.1。加載文檔 (document_loader.py)
document_loader.py 文件負責從 PDF 中提取文本。在這里，我們使用 PyMuPDF 庫來處理 PDF 中的每個頁面并存儲文本。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

說明：該函數讀取指定文件夾中的所有PDF文件，提取每個頁面的文本，并將文本添加到字典列表中。每個字典代表一個文檔及其文本和文件名。

4.2。文檔索引和檢索 (retriever.py)
FAISS（Facebook AI相似性搜索）幫助我們執(zhí)行相似性搜索。我們用它來創(chuàng)建文檔嵌入的索引，這使我們能夠在用戶提出問題時檢索相關部分。

pip install -r requirements.txt

說明：

create_index：使用 OpenAIEmbeddings 將文檔文本轉換為嵌入，并使用 FAISS 創(chuàng)建索引。
retrieve_documents：根據用戶查詢搜索相關文檔部分。

4.3。生成響應 (main.py)
該模塊處理用戶查詢、檢索相關文檔并使用 OpenAI 的語言模型生成答案。

OPENAI_API_KEY=your_openai_api_key_here

說明：

generate_response：使用檢索到的文檔和用戶查詢的上下文創(chuàng)建提示，然后將其發(fā)送到 OpenAI 的 API。然后將響應作為答案返回。

第 5 步：創(chuàng)建 Streamlit 界面 (app.py)
Streamlit 提供了一個交互式前端，使用戶可以輕松上傳文件和提問。

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

• 此代碼使用 Streamlit 創(chuàng)建一個簡單的 UI，允許用戶上傳 PDF 并輸入問題。
• 當用戶點擊“獲取答案”時，應用程序會檢索相關文檔并生成答案。

第 6 步：對應用程序進行 Docker 化
Docker 允許您將應用程序打包到容器中，從而輕松部署。

Dockerfile

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

我們使用多階段構建來保持最終圖像的精簡。
為了安全起見，應用程序以非 root 用戶身份運行。

運行 Docker 容器

1. 構建 Docker 鏡像：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

1. 運行容器：

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

第 7 步：使用 GitHub Actions 設置 CI/CD
為了做好生產準備，請?zhí)砑?CI/CD 管道來構建、測試和掃描 Docker 映像。您可以在存儲庫中找到此設置的 .github/workflows 文件。

最后的想法
該項目將 OpenAI 的語言模型功能與文檔檢索相結合，創(chuàng)建一個功能性的交互式工具。如果您喜歡這個項目，請在 GitHub 存儲庫上加注星標，并在開發(fā)社區(qū)上關注我。讓我們一起打造更多精彩的項目！ ？

？查看 GitHub 存儲庫？ EzioDevIo RAG 項目 GitHub 存儲庫！

以上是使用 OpenAI 和 Streamlit 構建文檔檢索和問答系統(tǒng)的詳細內容。更多信息請關注PHP中文網其他相關文章！