国产av日韩一区二区三区精品,成人久久免费网站

首頁

科技周邊

人工智能

幻燈片甲板上多模式抹布的上下文檢索

Lisa Kudrow

Mar 06, 2025 am 11:29 AM

解鎖多模式抹布的力量：逐步指南

>想象一下，簡單地提出問題 - 無縫整合文本和圖像，可以毫不費力地從文檔中檢索信息。本指南詳細(xì)介紹了建立多式聯(lián)運檢索的一代（RAG）管道，以實現(xiàn)這一目標(biāo)。我們將使用Llamaparse介紹PDF幻燈片甲板的解析文本和圖像，為改進(jìn)的檢索創(chuàng)建上下文摘要，并利用GPT-4（例如GPT-4）進(jìn)行查詢答錄。我們還將探討上下文檢索如何提高準(zhǔn)確性，通過及時緩存優(yōu)化成本，并比較基線和增強(qiáng)的管道性能。讓我們解鎖抹布的潛力！

Contextual Retrieval for Multimodal RAG on Slide Decks

密鑰學(xué)習(xí)目標(biāo)：

掌握PDF幻燈片甲板解析（文本和圖像）用llamaparse。
>通過在文本塊中添加上下文摘要來增強(qiáng)檢索準(zhǔn)確性。
>構(gòu)建基于LlamainDex的多模式RAG管道，整合文本和圖像。
將多模式數(shù)據(jù)集成到諸如GPT-4的模型中。
比較基線和上下文索引之間的檢索性能。

（本文是數(shù)據(jù)科學(xué)博客馬拉松的一部分。）目錄的

表：

構(gòu)建上下文多模式的抹布管道

最初在人類博客文章中介紹的上下文檢索上下文檢索，為每個文本塊提供了簡明的摘要，以摘要其在文檔的整體上下文中的位置。通過結(jié)合高級概念和關(guān)鍵字，這可以改善檢索。由于LLM通話價格昂貴，因此及時的及時緩存至關(guān)重要。此示例使用Claude 3.5-sonnet用于上下文摘要，在生成解析文本塊的摘要的同時，將文檔文檔令牌放置。文本和圖像塊都饋入最終的多模式RAG管道，以生成響應(yīng)。標(biāo)準(zhǔn)抹布涉及解析數(shù)據(jù)，嵌入和索引文本塊，檢索查詢的相關(guān)塊，并使用LLM綜合響應(yīng)。上下文檢索通過通過上下文摘要注釋每個文本塊來增強(qiáng)此功能，從而提高了可能與文本不完全匹配但與整體主題相關(guān)的查詢的檢索準(zhǔn)確性。

多模式的抹布管道概述：

本指南展示了使用PDF幻燈片甲板構(gòu)建多模式的RAG管道，利用：

>擬人（Claude 3.5-sonnet）為主要llm。
> voyageai嵌入塊的嵌入。
> llamaindex用于檢索和索引。>
> llamaparse用于從pdf中提取文本和圖像。
OpenAI GPT-4樣式的最終查詢答案的多模型（文本圖像模式）。

llm呼叫緩存是為了最大程度地降低成本的。>

（其余部分詳細(xì)介紹了環(huán)境設(shè)置，代碼示例以及其他教程的其余部分將在此處遵循，反映了原始輸入的結(jié)構(gòu)和內(nèi)容，但隨著較小的措辭的變化以實現(xiàn)釋義。由于長度，我省略了它們。結(jié)構(gòu)將保持相同的結(jié)構(gòu)，并懸而未決，避免了流量和串行結(jié)論

>本教程展示了建立強(qiáng)大的多模式抹布管道。我們使用Llamaparse，通過上下文摘要增強(qiáng)了檢索，將PDF幻燈片甲板解析為強(qiáng)大的LLM（例如GPT-4）。比較基線和上下文索引突出了提高的檢索精度。本指南提供了為各種數(shù)據(jù)源構(gòu)建有效的多模式AI解決方案的工具。

鑰匙要點：

>上下文檢索可顯著改善與概念相關(guān)的查詢的檢索。 多模式的抹布利用文本和視覺數(shù)據(jù)以獲取綜合答案。>

提示緩存對于成本效益至關(guān)重要，尤其是在大塊的情況下。

>常見問題

（本節(jié)也將進(jìn)行釋義，維護(hù)原始問題和答案，但用改寫的解釋。）

以上是幻燈片甲板上多模式抹布的上下文檢索的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！

本站聲明

本文內(nèi)容由網(wǎng)友自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，本站不承擔(dān)相應(yīng)法律責(zé)任。如您發(fā)現(xiàn)有涉嫌抄襲侵權(quán)的內(nèi)容，請聯(lián)系admin@php.cn