帶有檢索功能的生成（RAG）的多工具編排涉及創(chuàng)建使用大型語(yǔ)言模型（LLM）的智能工作流，其中包括Web搜索引擎或矢量數(shù)據(jù)庫(kù)，以響應(yīng)查詢。通過(guò)這樣做，LLM將自動(dòng)，動(dòng)態(tài)地選擇用於每個(gè)查詢的工具。例如，Web搜索工具將打開(kāi)當(dāng)前更新信息的域，以獲取特定於上下文的信息，例如Pinecone（Pinecone）。

實(shí)際上，RAG經(jīng)常需要定義功能通話工具，例如Web搜索或數(shù)據(jù)庫(kù)查找，並通過(guò)API（例如，響應(yīng)API或OpenAI）協(xié)調(diào)這些工具。此使用啟動(dòng)了每個(gè)用戶查詢的一系列檢索和生成步驟。結(jié)果，模型能力的各個(gè)方面與當(dāng)前信息交織在一起。

目錄

• 什麼是破布？
• 為什麼在破布中使用工具？
• 用抹布創(chuàng)建多工具編排
  • 加載依賴(lài)項(xiàng)和數(shù)據(jù)集
  • 根據(jù)數(shù)據(jù)集創(chuàng)建Pinecone索引
  • 查詢松果指數(shù)
  • 編排多工具電話
  • 多功能策劃
• 結(jié)論
• 常見(jiàn)問(wèn)題

什麼是破布？

抹布是語(yǔ)言模型使用檢索到的相關(guān)外部信息並將其納入其輸出的過(guò)程。因此，抹布模型並不是僅依靠?jī)?nèi)部訓(xùn)練數(shù)據(jù)的“封閉式”模型，而是執(zhí)行明確的檢索步驟。它瀏覽了一組文檔，例如矢量數(shù)據(jù)庫(kù)或搜索索引，並使用檢索到的文檔將提示擴(kuò)大到LLM。

為了提取知識(shí)，LLM借鑒了對(duì)查詢的準(zhǔn)確響應(yīng)。這樣，我們可以將過(guò)程視為實(shí)時(shí)“增強(qiáng)”一代。當(dāng)LLM能夠通過(guò)在問(wèn)題時(shí)通過(guò)檢索利用生成功能和增強(qiáng)信息來(lái)提供上下文相關(guān)，準(zhǔn)確的查詢答案。通過(guò)這樣做，它使LLM能夠以準(zhǔn)確，當(dāng)前，特定領(lǐng)域或?qū)Ｓ兄R(shí)回答問(wèn)題，在培訓(xùn)時(shí)不知道。

抹布的關(guān)鍵優(yōu)勢(shì)：

• 最新的和域特定的知識(shí)： RAG允許模型訪問(wèn)新的和非靜態(tài)培訓(xùn)數(shù)據(jù)，例如，當(dāng)前新聞，內(nèi)部文檔，以回答查詢。
• 較低的幻覺(jué)速率：抹布將根據(jù)實(shí)際檢索事實(shí)來(lái)回答幻覺(jué)。
• 可驗(yàn)證性：答案可以引用或顯示檢索到的內(nèi)容的來(lái)源，從而為答案增加了更多的透明度和可信度。

RAG允許LLM與知識(shí)檢索結(jié)合生成能力。在抹布方法中，該模型在做出答案之前從外部語(yǔ)料庫(kù)中檢索相關(guān)信息段，然後在使用該上下文中產(chǎn)生更準(zhǔn)確和明智的響應(yīng)。

了解有關(guān)我們上一篇文章中的抹布的更多信息。

為什麼在破布中使用工具？

Web搜索和矢量索引查詢等工具對(duì)於抹布至關(guān)重要，因?yàn)樗鼈兲峁┝薒LM不單獨(dú)提供的檢索組件。當(dāng)添加這些工具時(shí)，RAG只能消除僅依賴(lài)LLM服務(wù)的問(wèn)題。例如，LLM具有知識(shí)截止值，可以確保產(chǎn)生錯(cuò)誤或過(guò)時(shí)的信息。搜索工具允許系統(tǒng)自動(dòng)獲取最新的點(diǎn)播事實(shí)。同樣，諸如Pinecone之類(lèi)的向量數(shù)據(jù)庫(kù)存儲(chǔ)了域特異性和專(zhuān)有數(shù)據(jù)醫(yī)師記錄，公司策略等，該模型否則不知道。

每個(gè)工具都有其優(yōu)勢(shì)，使用多種工具是多工具編排。例如，一般的網(wǎng)絡(luò)搜索工具可以回答高級(jí)問(wèn)題。像PineConesearchDocuments這樣的工具可以在內(nèi)部向量存儲(chǔ)中找到合適的相關(guān)條目，其中包含來(lái)自專(zhuān)有信息集的知識(shí)。他們共同確保了模型的答案，可以在源或最佳質(zhì)量的任何地方找到。一般問(wèn)題可以通過(guò)功能齊全的工具（例如Web搜索）來(lái)處理。利用系統(tǒng)內(nèi)部知識(shí)的“非常具體”的問(wèn)題或醫(yī)學(xué)問(wèn)題是通過(guò)從矢量數(shù)據(jù)庫(kù)中檢索上下文來(lái)解決的?？傮w而言，在抹布管道中使用多工具提供了提高的有效性，糾正數(shù)據(jù)以及準(zhǔn)確性和同時(shí)性環(huán)境。

用抹布創(chuàng)建多工具編排

現(xiàn)在，我們將介紹使用醫(yī)療問(wèn)答數(shù)據(jù)集創(chuàng)建多工具抹布系統(tǒng)的現(xiàn)實(shí)示例。該過(guò)程是，我們將一個(gè)問(wèn)題解答數(shù)據(jù)集嵌入到Pinecone中並設(shè)置一個(gè)系統(tǒng)。該模型具有網(wǎng)絡(luò)搜索工具和一個(gè)基於松果的搜索工具。這是此過(guò)程中的一些步驟和代碼示例。

加載依賴(lài)項(xiàng)和數(shù)據(jù)集

首先，我們將安裝，然後導(dǎo)入必要的庫(kù)，最後下載數(shù)據(jù)集。它將需要對(duì)數(shù)據(jù)處理，嵌入和Pinecone SDK的基本了解。例如：

導(dǎo)入OS，時(shí)間，隨機(jī)，字符串

導(dǎo)入大熊貓作為pd

來(lái)自TQDM.Auto Import TQDM

從stone_transformers導(dǎo)入句子詞術(shù)語(yǔ)

來(lái)自Pinecone Import Pinecone，無(wú)serverspec

進(jìn)口Openai

來(lái)自O(shè)penai Import Openai

導(dǎo)入KaggleHub

接下來(lái)，我們將下載並加載醫(yī)療問(wèn)題和答案關(guān)係的數(shù)據(jù)集。在代碼中，我們使用KaggleHub實(shí)用程序訪問(wèn)了醫(yī)學(xué)專(zhuān)注的QA數(shù)據(jù)集：

路徑= kagglehub.dataset_download（“ thedevastator/complastightion-Medical-Medical-qa-dataset”）

dataset_path =路徑＃下載文件的本地路徑

df = pd.read_csv（f“ {dataset_path}/train.csv”）

對(duì)於此示例版本，我們可以取一個(gè)子集，即前2500行。接下來(lái)，我們將列以“問(wèn)題”和“答案：”的列前綴，然後將它們合併為一個(gè)文本字符串。這將是我們將嵌入的上下文。我們正在用文本嵌入嵌入。例如：

 df = df [：2500]

df ['問(wèn)題'] ='問(wèn)題：'df ['問(wèn)題']

df ['答案'] ='答案：'df ['答案']

df ['merged_text'] = df ['問(wèn)題'] df ['答案']

行中的合併文本看起來(lái)像：“問(wèn)題：[醫(yī)療問(wèn)題]答案：[答案]”

問(wèn)題：誰(shuí)有淋巴細(xì)胞絨毛膜炎（LCM）的風(fēng)險(xiǎn)？

答案：暴露於感染囓齒動(dòng)物的新鮮尿液，糞便，唾液或嵌套材料後，可能會(huì)發(fā)生LCMV感染。當(dāng)直接將這些材料直接引入破碎的皮膚，鼻子，眼睛或嘴巴或大概是通過(guò)感染囓齒動(dòng)物的咬傷時(shí)，也可能發(fā)生傳播。除了從感染的母親到胎兒的垂直傳播以及很少通過(guò)器官移植外，尚未報(bào)告人與人的傳播。

根據(jù)數(shù)據(jù)集創(chuàng)建Pinecone索引

現(xiàn)在，數(shù)據(jù)集已加載，我們將為每個(gè)合併的QA字符串生成矢量嵌入。我們將使用句子轉(zhuǎn)換器模型“ baai/bge-small-en”來(lái)編碼文本：

 model = sencencetransformer（“ baai/bge-small-en”）

embeddings = model.encode（df ['merged_text']。tolist（），show_progress_bar = true）

df ['嵌入'] =列表（嵌入）

我們將從單個(gè)樣本'len（嵌入[0]'''進(jìn)行嵌入維度。對(duì)於我們的情況，是384。然後，我們將創(chuàng)建一個(gè)新的Pinecone索引並給出尺寸。這是使用Pinecone Python Client：完成的：

 def upSert_to_pinecone（df，embed_dim，model，api_key，region =“ us-east-1”，batch_size = 32）：

＃初始化Pinecone並創(chuàng)建索引（如果不存在）

Pinecone = Pinecone（api_key = api_key）

spec = serverlessspec（cloud =“ aws”，region =區(qū)域）

index_name ='pinecone-index-'''.join（random.choices（string.ascii_lowercase string.digits，k = 10）））

如果index_name不在pinecone.list_indexes（）。名稱(chēng)（）：

pinecone.create_index（

index_name = index_name，

dimension = embed_dim，

公制='dotproduct'，

規(guī)格=規(guī)格

）

＃連接到索引

index = pinecone.index（index_name）

時(shí)間。

打?。ā八饕y(tǒng)計(jì)：”，index.describe_index_stats（））

＃批次

對(duì)於tqdm中的i（範(fàn)圍（0，len（df），batch_size），desc =“ upserting to pinecone”）：

i_end = min（i batch_size，len（df））

＃準(zhǔn)備輸入和元數(shù)據(jù)

lines_batch = df ['merged_text']。 iLoc [i：i_end] .tolist（）

IDS_BATCH = [range（i，i_end）的n的str（n）]

embeds = model.encode（lines_batch，show_progress_bar = false，convert_to_numpy = true）

meta = [

{

“問(wèn)題”：record.get（“問(wèn)題”，“”），

“答案”：record.get（“響應(yīng)”，“”）

}

在df.iloc [i：i_end] .to_dict（“ records”）中記錄

這是給出的

＃UPSERT到索引

vectors = list（zip（ids_batch，embed，meta））

index.upsert（向量=向量）

print（f“ upsert完成。索引名稱(chēng)：{index_name}”）

返回index_name

這就是將我們的數(shù)據(jù)吸收到松果中的原因。在抹布術(shù)語(yǔ)中，這等同於將外部權(quán)威知識(shí)加載到向量存儲(chǔ)中。創(chuàng)建索引後，我們將所有嵌入所有嵌入與元數(shù)據(jù)一起批量，這是最初的問(wèn)題和回答文本以進(jìn)行檢索：

 index_name = upsert_to_pinecone（

df = df，

embed_dim = 384，

模型=模型，

api_key =“ your pinecone-api-key”

）

在這裡，每個(gè)向量都用文本和元數(shù)據(jù)存儲(chǔ)?，F(xiàn)在，Pinecone索引與我們的域特異性數(shù)據(jù)集填充。

查詢松果指數(shù)

要使用索引，我們定義一個(gè)可以通過(guò)新問(wèn)題調(diào)用索引的函數(shù)。該函數(shù)嵌入查詢文本並調(diào)用index.query返回top-k最相似文檔：

 def query_pinecone_index（索引，模型，query_text）：

query_embedding = model.encode（query_text，convert_to_numpy = true）.tolist（）
res = index.query（vector = query_embedding，top_k = 5，include_metadata = true）

打印（“ ---查詢結(jié)果---”）

對(duì)於res ['匹配']中的匹配：
問(wèn)題=匹配['metadata']。 get（“問(wèn)題”，'n/a'）
答案=匹配['metadata']。獲?。ā按鸢浮?，“ n/a”）
print（f“ {match ['scorce']：。2f}：{Quartion}  -  {答案}”）

返回res

例如，如果我們要調(diào)用query_pinecone_index（索引，型號(hào)，“糖尿病最常見(jiàn)的治療方法是什麼？”），我們將看到打印出的數(shù)據(jù)集中的頂級(jí)匹配的問(wèn)答對(duì)。這是該過(guò)程的檢索部分：用戶查詢被嵌入，查找索引並返回最接近的文檔（以及其元數(shù)據(jù)）。一旦我們檢索了這些上下文，我們就可以使用它們來(lái)幫助制定最終答案。

編排多工具電話

接下來(lái)，我們定義模型可以使用的工具。在此管道中，我們定義了兩個(gè)工具。 Web搜索預(yù)覽是通用的Web搜索，從開(kāi)放的Internet中搜索事實(shí)。 PineconesearchDocuments用於在我們的Pinecone索引上執(zhí)行語(yǔ)義搜索。每個(gè)工具被定義為包含名稱(chēng)，描述和預(yù)期參數(shù)的JSON對(duì)象。這是一個(gè)示例：

步驟1：定義Web搜索工具

該工具使代理只需輸入自然語(yǔ)言請(qǐng)求即可執(zhí)行Web搜索。有可選的位置元數(shù)據(jù)，可以增強(qiáng)用戶相關(guān)性的細(xì)節(jié)（例如，新聞，特定於該地區(qū)的服務(wù)）。

 web_search_tool = {

“ type”：“函數(shù)”，
“名稱(chēng)”：“ web_search_preview”，
“功能”： {

“名稱(chēng)”：“ web_search_preview”，
“描述”：“對(duì)一般查詢執(zhí)行網(wǎng)絡(luò)搜索?！保?
“參數(shù)”： {

“類(lèi)型”：“對(duì)象”，

“特性”： {

“詢問(wèn)”： {

“ type”：“ string”，

“描述”：“搜索查詢字符串”

}，，

“ user_location”：{

“類(lèi)型”：“對(duì)象”，

“特性”： {
“ country”：{“ type”：“ string”，“默認(rèn)”：“在”}中，
“區(qū)域”：{“ type”：“ string”，“默認(rèn)”：“ delhi”}，
“城市”：{“ type”：“ string”，“默認(rèn)”：“ new delhi”}
}}}，

“必需”：[“查詢”]

}}}

}

因此，當(dāng)代理需要當(dāng)前或以其他方式包含的培訓(xùn)數(shù)據(jù)中未包含的信息時(shí)使用它。

步驟2：定義Pinecone搜索工具

該工具使代理能夠?qū)κ噶繑?shù)據(jù)庫(kù)（例如Pinecone）進(jìn)行語(yǔ)義搜索，從而允許RAG系統(tǒng)依靠點(diǎn)乘積的語(yǔ)義和向量之間的角度。

該工具根據(jù)向量嵌入來(lái)查詢並返回最相似的文檔。

 pinecone_tool = {

“ type”：“函數(shù)”，

“名稱(chēng)”：“ PineconesearchDocuments”，

“功能”： {

“名稱(chēng)”：“ PineconesearchDocuments”，

“描述”：“根據(jù)向量數(shù)據(jù)庫(kù)中用戶的問(wèn)題搜索相關(guān)文檔?！?，

“參數(shù)”： {

“類(lèi)型”：“對(duì)象”，

“特性”： {

“詢問(wèn)”： {

“ type”：“ string”，

“描述”：“在矢量數(shù)據(jù)庫(kù)中搜索的問(wèn)題?！?
}，，

“ top_k”：{

“ type”：“整數(shù)”，

“描述”：“要返回的最高結(jié)果數(shù)?！?，

“默認(rèn)值”：3

}

}，，

“必需”：[“ query”]，

“額外的properties”：false

}

}

}

當(dāng)代理需要從包含嵌入式上下文的文檔中檢索特異性上下文時(shí)，就可以使用此情況。

步驟3：組合工具

現(xiàn)在，我們將這兩個(gè)工具組合到一個(gè)單個(gè)列表中，該列表將傳遞給代理。

工具= [web_search_tool，pinecone_tool]

因此，每個(gè)工具都包含一個(gè)定義我們的模型時(shí)應(yīng)該給出的參數(shù)。例如，Pinecone搜索工具期望有自然語(yǔ)言查詢字符串，該工具將在內(nèi)部返回我們的索引上的TOP-K匹配文檔。

除工具外，我們還將包括一組用於處理的用戶查詢。對(duì)於每個(gè)查詢，該模型將確定它將調(diào)用工具還是直接響應(yīng)。例如：

查詢= [

{“ Query”：“誰(shuí)在1983年贏得了板球世界杯？”}，

{“ query”：“印度最常見(jiàn)的死亡原因是什麼？”}，

{“ Query”：“一個(gè)7歲的患有鐮狀細(xì)胞病的男孩膝蓋和臀部疼痛...根據(jù)我們的內(nèi)部知識(shí)基礎(chǔ)，管理的下一步是什麼？”}}

這是給出的

多功能策劃

最後，我們執(zhí)行對(duì)話流，其中模型代表其控制工具。我們?yōu)槟Ｐ吞峁┝艘粋€(gè)系統(tǒng)提示，該系統(tǒng)提示將其指導(dǎo)以特定順序使用工具。在此示例中，我們的提示告訴模型：“當(dāng)提出問(wèn)題時(shí)，首先調(diào)用Web搜索工具，然後致電PineconesearchDocuments”：

 system_prompt =（

“每次提示提出問(wèn)題時(shí)，首先將Web搜索工具稱(chēng)為結(jié)果，”

“然後致電`pineconesearchDocuments'在內(nèi)部知識(shí)庫(kù)中找到相關(guān)示例。”

）

我們收集消息並通過(guò)從用戶為每個(gè)查詢啟用的工具來(lái)調(diào)用響應(yīng)API：

對(duì)於查詢中的項(xiàng)目：

input_messages = [

{“角色”：“系統(tǒng)”，“ content”：system_prompt}，，

{“角色”：“用戶”，“ content”：item [query']}

這是給出的

響應(yīng)= openai.responses.create（

型號(hào)=“ gpt-4o-mini”，

輸入= input_messages，

工具=工具，

parallel_tool_calls = true

）

輸出：

API返回一條助理消息，該消息可能會(huì)或可能不包括工具調(diào)用。我們檢查響應(yīng)。輸出以查看模型是否稱(chēng)為任何工具，因此，如果這樣做，我們執(zhí)行這些調(diào)用並將結(jié)果包括在對(duì)話中。例如，如果模型稱(chēng)為PineConesearchDocuments，我們的代碼在內(nèi)部運(yùn)行QUERY_PINECONE_INDEX（索引，模型，查詢），獲取文檔答案，並返回帶有此信息的工具響應(yīng)消息。最後，我們將刷新的對(duì)話發(fā)送回模型以獲取最終響應(yīng)。

上面的流程顯示了多工具編排的工作方式。該模型動(dòng)態(tài)選擇有關(guān)查詢的工具。如示例所指出的那樣，對(duì)於諸如“什麼是哮喘？”之類(lèi)的一般問(wèn)題，它可以使用網(wǎng)絡(luò)搜索工具，但是有關(guān)“哮喘”更具體鏈接的問(wèn)題可能需要Pinecone上下文。

我們從代碼循環(huán)中進(jìn)行了多個(gè)工具調(diào)用，並且畢竟已經(jīng)撥打了API，以允許模型根據(jù)收到的提示構(gòu)建“最終”答案。總體而言，我們希望得到一個(gè)答案，從網(wǎng)絡(luò)知識(shí)中匯集兩個(gè)外部真理，並根據(jù)我們的說(shuō)明從內(nèi)部知識(shí)文檔中承認(rèn)上下文。

您可以在此處參考完整的代碼。

結(jié)論

帶有抹布的多工具編排創(chuàng)建了一個(gè)功能強(qiáng)大的QA系統(tǒng)，具有許多選項(xiàng)。將模型生成與檢索工具一起使用使我們能夠利用模型的自然語(yǔ)言理解和外部數(shù)據(jù)集的事實(shí)準(zhǔn)確性。在我們的用例中，我們對(duì)醫(yī)學(xué)Q＆的Pinecone向量索引進(jìn)行了實(shí)現(xiàn)，因此我們有能力調(diào)用Web搜索或該索引作為選項(xiàng)。通過(guò)這樣做，我們的模型在實(shí)際數(shù)據(jù)中更為基礎(chǔ)，並能夠回答其他問(wèn)題。

在實(shí)踐中，這種類(lèi)型的抹布管道可以更好地回答準(zhǔn)確性和相關(guān)性，因?yàn)樵撃Ｐ涂梢砸米钚碌膩?lái)源，涵蓋利基知識(shí)並最大程度地減少幻覺(jué)。未來(lái)的迭代可能包括更高級(jí)的檢索模式或生態(tài)系統(tǒng)中的其他工具，例如使用知識(shí)圖或API，但是核心內(nèi)沒(méi)有任何改變。

常見(jiàn)問(wèn)題

A. RAG允許LLMS訪問(wèn)外部數(shù)據(jù)源（例如Vector數(shù)據(jù)庫(kù)或Web）來(lái)生成更準(zhǔn)確，當(dāng)前和域特異性響應(yīng)，而傳統(tǒng)的“封閉式”模型無(wú)法發(fā)生。

答：通常，常見(jiàn)工具包括：
- Pinecone，F(xiàn)aiss或編織的矢量數(shù)據(jù)庫(kù)進(jìn)行語(yǔ)義檢索。
- 使用API進(jìn)行實(shí)時(shí)網(wǎng)絡(luò)信息的WebSearch。
- 提供知識(shí)圖，SQL數(shù)據(jù)庫(kù)或文檔存儲(chǔ)的查詢功能的自定義API或功能。

答：是的。 RAG非常適合需要?jiǎng)討B(tài)，事實(shí)答案的應(yīng)用程序，例如客戶支持機(jī)器人，醫(yī)療或財(cái)務(wù)助理。由於響應(yīng)是基於可檢索的文件或事實(shí)。

以上是多工具抹布：編排網(wǎng)絡(luò)搜索指南的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！