>解鎖在檢索型發(fā)電一代（抹布）中塊的力量：深度潛水

有效地處理大量文本數(shù)據(jù)對于構(gòu)建強大而有效的檢索生成（RAG）系統(tǒng)至關(guān)重要。 本文探討了各種構(gòu)成策略，對于優(yōu)化數(shù)據(jù)處理和改善AI驅(qū)動應(yīng)用程序的性能至關(guān)重要。 我們將深入研究不同的方法，強調(diào)他們的優(yōu)勢和劣勢，并提供實用的例子。 目錄的

表

抹布中有什么塊？

>
• 塊的重要性
• 了解抹布架構(gòu)和塊狀
• >抹布系統(tǒng)的共同挑戰(zhàn)
• 選擇最佳塊策略
• 基于字符的文本塊
• 遞歸字符文本用langchain
分裂
• 文檔特定的塊（html，python，json等）
• >語義塊與蘭班和Openai
• 代理分解（LLM驅(qū)動的塊）
>
• 基于截面的塊
• >上下文塊，用于增強檢索
• >保存遠距離上下文的后期塊
• 結(jié)論

抹布中有什么塊？

分解是將大型文本文檔分為較小，更易于管理的單元的過程。 這對于抹布系統(tǒng)至關(guān)重要，因為語言模型的上下文窗口有限。 塊確保相關(guān)信息保留在這些范圍之內(nèi)，從而最大程度地提高信噪比并提高模型性能。 目的不僅是要拆分數(shù)據(jù)，而且是要優(yōu)化其向模型的顯示，以增強可檢索性和準確性。

>

>

為什么要塊很重要？ 色度聯(lián)合創(chuàng)始人安東·特洛伊尼科夫（Anton Troynikov）強調(diào)，在上下文窗口中無關(guān)緊要的數(shù)據(jù)可顯著降低應(yīng)用程序效率。 分塊對于：

至關(guān)重要

克服上下文窗口限制：

確保由于尺寸限制而不會丟失關(guān)鍵信息。

1. 提高信號噪聲比率：過濾不相關(guān)的內(nèi)容，提高模型精度。
2. >提高檢索效率：促進相關(guān)信息的更快，更精確的檢索。
特定于任務(wù)的優(yōu)化：允許根據(jù)特定的應(yīng)用需求量身定制塊策略（例如，摘要與提問）。
3. 抹布架構(gòu)和塊

   

   抹布架構(gòu)涉及三個關(guān)鍵階段：

   1. >塊：原始數(shù)據(jù)分為較小的，有意義的塊。
   2. 嵌入：塊被轉(zhuǎn)換為向量嵌入。
   根據(jù)用戶查詢，檢索相關(guān)的塊
   3. > 檢索和生成：相關(guān)塊，LLM使用檢索到的信息生成響應(yīng)。

   抹布系統(tǒng)中的挑戰(zhàn) 抹布系統(tǒng)面臨幾個挑戰(zhàn)：

   >
   檢索問題：
   1. 不準確或不完整地檢索相關(guān)信息。
   生成困難：
   2. 幻覺，無關(guān)或有偏的輸出。
   集成問題：
   3. 難以將檢索到的信息相干地組合。>
   選擇正確的塊策略

   > 理想的塊策略取決于幾個因素：內(nèi)容類型，嵌入模型和預(yù)期的用戶查詢。 考慮內(nèi)容的結(jié)構(gòu)和密度，嵌入模型的令牌限制以及用戶可能會提出的問題的類型。

   1?；谧址奈谋緣K

   這種簡單的方法根據(jù)字符數(shù)將文本分配到固定尺寸的塊中，無論語義含義如何。 雖然簡單明了，但它通常會破壞句子的結(jié)構(gòu)和上下文。 示例使用Python：

   2。遞歸字符文本用langchain

   text = "Clouds come floating into my life..."
   chunks = []
   chunk_size = 35
   chunk_overlap = 5
   # ... (Chunking logic as in the original example)

   分裂 >這種方法使用多個分離器（例如，雙新線，單個新線，空格）遞歸地分配文本，并合并較小的塊以優(yōu)化目標字符大小。 它比基于角色的塊更復(fù)雜，提供更好的上下文保存。 示例使用Langchain：

   3。文檔特定的塊

   # ... (LangChain installation and code as in the original example)

   使用格式特定的分隔符，此方法將塊適應(yīng)不同的文檔格式（HTML，Python，Markdown等）。 這確保了塊尊重文檔的固有結(jié)構(gòu)。 原始響應(yīng)中提供了使用Langchain進行Python和Markdown的示例。

   4。語義塊與蘭班和Openai
   語義塊的語義塊根據(jù)語義含義分開文本，使用句子嵌入等技術(shù)來識別自然斷點。 這種方法確保每個塊代表一個連貫的想法。使用Langchain和OpenAI嵌入式的示例：
   5。代理塊（LLM驅(qū)動的分塊）
   >

   代理塊利用LLM來識別文本中的自然斷點，從而產(chǎn)生了更多相關(guān)的塊。 這種方法利用LLM對語言和上下文的理解來產(chǎn)生更有意義的細分。 示例使用OpenAI API：

   text = "Clouds come floating into my life..."
   chunks = []
   chunk_size = 35
   chunk_overlap = 5
   # ... (Chunking logic as in the original example)

   6?；诮孛娴膲K

   >此方法利用文檔的固有結(jié)構(gòu)（標題，小標題，部分）來定義塊。這對于結(jié)構(gòu)良好的文檔（例如研究論文或報告）特別有效。 使用Pymupdf和潛在的Dirichlet分配（LDA）進行基于主題的塊：

   # ... (LangChain installation and code as in the original example)

   7。上下文塊

   上下文塊的重點是在每個塊中保存語義上下文。 這樣可以確保檢索到的信息連貫且相關(guān)。示例使用Langchain和自定義提示：

   # ... (OpenAI API key setup and code as in the original example)

   8。晚分塊

   >較晚的分塊延遲塊，直到為整個文檔生成嵌入后。這可以保留遠距離上下文依賴性，從而提高了嵌入和檢索的準確性。使用Jina嵌入模型的示例：

   # ... (OpenAI API key setup and code as in the original example)

   結(jié)論

   >有效的塊對于構(gòu)建高性能的抹布系統(tǒng)至關(guān)重要。切塊策略的選擇顯著影響信息檢索的質(zhì)量和產(chǎn)生的響應(yīng)的連貫性。 通過仔細考慮數(shù)據(jù)的特征和應(yīng)用程序的特定要求，開發(fā)人員可以選擇最合適的塊方法來優(yōu)化其抹布系統(tǒng)的性能。 請記住，始終優(yōu)先考慮在每個塊中保持上下文的完整性和相關(guān)性。>

以上是抹布系統(tǒng)的8種類型的塊 - 分析Vidhya的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！