本文探討了結(jié)合現(xiàn)代基于變壓器的模型的簡(jiǎn)單而有效的問(wèn)答系統(tǒng)的實(shí)現(xiàn)。該系統(tǒng)使用 T5（文本到文本傳輸轉(zhuǎn)換器）進(jìn)行答案生成，并使用句子轉(zhuǎn)換器進(jìn)行語(yǔ)義相似度匹配。

在上一篇文章中，我解釋了如何使用免費(fèi)的基礎(chǔ) LLM 模型創(chuàng)建帶有 Web 界面的簡(jiǎn)單翻譯 API。這次，讓我們深入探討使用基于免費(fèi) Transformer 的 LLM 模型和知識(shí)庫(kù)構(gòu)建檢索增強(qiáng)生成 (RAG) 系統(tǒng)。

RAG（檢索增強(qiáng)生成）是一種結(jié)合了兩個(gè)關(guān)鍵組件的技術(shù)：

檢索：首先，它搜索知識(shí)庫(kù)（如文檔、數(shù)據(jù)庫(kù)等）以查找給定查詢(xún)的相關(guān)信息。這通常涉及：

• 將文本轉(zhuǎn)換為嵌入（表示含義的數(shù)值向量）
• 使用相似性度量（如余弦相似度）查找相似內(nèi)容
• 選擇最相關(guān)的信息

生成： 然后它使用語(yǔ)言模型（如我們代碼中的 T5）通過(guò)以下方式生成響應(yīng)：

將檢索到的信息與原始問(wèn)題相結(jié)合

根據(jù)上下文創(chuàng)建自然語(yǔ)言響應(yīng)

代碼中：

• SentenceTransformer 通過(guò)創(chuàng)建嵌入來(lái)處理檢索部分
• T5 模型通過(guò)創(chuàng)建答案來(lái)處理生成部分

RAG 的好處：

• 更準(zhǔn)確的回答，因?yàn)樗鼈兓谔囟ㄖR(shí)
• 與純粹的法學(xué)碩士反應(yīng)相比，幻覺(jué)減少
• 能夠訪問(wèn)最新或特定領(lǐng)域的信息
• 比純生成更可控、更透明

系統(tǒng)架構(gòu)概述

該實(shí)現(xiàn)由一個(gè) SimpleQASystem 類(lèi)組成，該類(lèi)協(xié)調(diào)兩個(gè)主要組件：

• 使用句子轉(zhuǎn)換器的語(yǔ)義搜索系統(tǒng)
• 使用 T5 的答案生成系統(tǒng)

您可以在這里下載最新版本的源代碼：https://github.com/alexander-uspenskiy/rag_project

系統(tǒng)圖

RAG 項(xiàng)目設(shè)置指南

本指南將幫助您在 macOS 和 Windows 上設(shè)置檢索增強(qiáng)生成 (RAG) 項(xiàng)目。

先決條件

對(duì)于 macOS：

安裝 Homebrew（如果尚未安裝）：
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
使用 Homebrew 安裝 Python 3.8
釀造安裝python@3.10
對(duì)于 Windows：
從 python.org 下載并安裝 Python 3.8
安裝時(shí)請(qǐng)務(wù)必勾選“Add Python to PATH”

項(xiàng)目設(shè)置

第1步：創(chuàng)建項(xiàng)目目錄

macOS：

mkdir RAG_project
cd RAG_project
Windows：

mkdir RAG_project
cd RAG_project

第 2 步：設(shè)置虛擬環(huán)境

macOS：

python3 -m venv venv
源 venv/bin/activate

Windows：

python -m venv venv
venvScriptsactivate

**核心組件

1. 初始化**

def __init__(self):
    self.model_name = 't5-small'
    self.tokenizer = T5Tokenizer.from_pretrained(self.model_name)
    self.model = T5ForConditionalGeneration.from_pretrained(self.model_name)
    self.encoder = SentenceTransformer('paraphrase-MiniLM-L6-v2')

系統(tǒng)使用兩個(gè)主要模型進(jìn)行初始化：

T5-small：用于生成答案的 T5 模型的較小版本
paraphrase-MiniLM-L6-v2：用于將文本編碼為有意義的向量的句子轉(zhuǎn)換器模型

2。數(shù)據(jù)集準(zhǔn)備

def prepare_dataset(self, data: List[Dict[str, str]]):
    self.answers = [item['answer'] for item in data]
    self.answer_embeddings = []
    for answer in self.answers:
        embedding = self.encoder.encode(answer, convert_to_tensor=True)
        self.answer_embeddings.append(embedding)

數(shù)據(jù)集準(zhǔn)備階段：

• 從輸入數(shù)據(jù)中提取答案
• 使用句子轉(zhuǎn)換器為每個(gè)答案創(chuàng)建嵌入
• 存儲(chǔ)答案及其嵌入以便快速檢索

系統(tǒng)如何運(yùn)作

1。問(wèn)題處理

當(dāng)用戶(hù)提交問(wèn)題時(shí)，系統(tǒng)會(huì)執(zhí)行以下步驟：

嵌入生成：使用與答案相同的句子轉(zhuǎn)換器模型將問(wèn)題轉(zhuǎn)換為向量表示。

語(yǔ)義搜索：系統(tǒng)通過(guò)以下方式找到最相關(guān)的存儲(chǔ)答案：

• 計(jì)算問(wèn)題嵌入和所有答案嵌入之間的余弦相似度
• 選擇相似度得分最高的答案 上下文形成：所選答案成為 T5 生成最終響應(yīng)的上下文。

2。答案生成

def get_answer(self, question: str) -> str:
    # ... semantic search logic ...
    input_text = f"Given the context, what is the answer to the question: {question} Context: {context}"
    input_ids = self.tokenizer(input_text, max_length=512, truncation=True, 
                             padding='max_length', return_tensors='pt').input_ids
    outputs = self.model.generate(input_ids, max_length=50, num_beams=4, 
                                early_stopping=True, no_repeat_ngram_size=2

答案生成過(guò)程：

• 將問(wèn)題和上下文組合成 T5 的提示
• 對(duì)輸入文本進(jìn)行標(biāo)記，最大長(zhǎng)度為 512 個(gè)標(biāo)記
• 使用波束搜索和以下參數(shù)生成答案：
• max_length=50：限制答案長(zhǎng)度
• num_beams=4：使用 4 個(gè)光束的光束搜索
• early_stopping=True：當(dāng)所有光束到達(dá)結(jié)束標(biāo)記時(shí)停止生成
• no_repeat_ngram_size=2：防止二元組重復(fù)

3?；卮鹎鍧?/strong>

def __init__(self):
    self.model_name = 't5-small'
    self.tokenizer = T5Tokenizer.from_pretrained(self.model_name)
    self.model = T5ForConditionalGeneration.from_pretrained(self.model_name)
    self.encoder = SentenceTransformer('paraphrase-MiniLM-L6-v2')

def prepare_dataset(self, data: List[Dict[str, str]]):
    self.answers = [item['answer'] for item in data]
    self.answer_embeddings = []
    for answer in self.answers:
        embedding = self.encoder.encode(answer, convert_to_tensor=True)
        self.answer_embeddings.append(embedding)

def get_answer(self, question: str) -> str:
    # ... semantic search logic ...
    input_text = f"Given the context, what is the answer to the question: {question} Context: {context}"
    input_ids = self.tokenizer(input_text, max_length=512, truncation=True, 
                             padding='max_length', return_tensors='pt').input_ids
    outputs = self.model.generate(input_ids, max_length=50, num_beams=4, 
                                early_stopping=True, no_repeat_ngram_size=2