jzzijzzij亚洲成熟少妇,大肉大捧一进一出好爽视频mba

首頁

科技週邊

人工智慧

幻燈片甲板上多模式抹布的上下文檢索

Lisa Kudrow

Mar 06, 2025 am 11:29 AM

解鎖多模式抹布的力量：逐步指南

>想像一下，簡單地提出問題 - 無縫整合文本和圖像，可以毫不費(fèi)力地從文檔中檢索信息。本指南詳細(xì)介紹了建立多式聯(lián)運(yùn)檢索的一代（RAG）管道，以實(shí)現(xiàn)這一目標(biāo)。我們將使用Llamaparse介紹PDF幻燈片甲板的解析文本和圖像，為改進(jìn)的檢索創(chuàng)建上下文摘要，並利用GPT-4（例如GPT-4）進(jìn)行查詢答錄。我們還將探討上下文檢索如何提高準(zhǔn)確性，通過及時(shí)緩存優(yōu)化成本，並比較基線和增強(qiáng)的管道性能。讓我們解鎖抹布的潛力！

Contextual Retrieval for Multimodal RAG on Slide Decks

密鑰學(xué)習(xí)目標(biāo)：

掌握PDF幻燈片甲板解析（文本和圖像）用llamaparse。
>通過在文本塊中添加上下文摘要來增強(qiáng)檢索準(zhǔn)確性。
>構(gòu)建基於LlamainDex的多模式RAG管道，整合文本和圖像。
將多模式數(shù)據(jù)集成到諸如GPT-4的模型中。
比較基線和上下文索引之間的檢索性能。

（本文是數(shù)據(jù)科學(xué)博客馬拉鬆的一部分。）目錄的

表：

構(gòu)建上下文多模式的抹布管道

最初在人類博客文章中介紹的上下文檢索上下文檢索，為每個(gè)文本塊提供了簡明的摘要，以摘要其在文檔的整體上下文中的位置。通過結(jié)合高級概念和關(guān)鍵字，這可以改善檢索。由於LLM通話價(jià)格昂貴，因此及時(shí)的及時(shí)緩存至關(guān)重要。此示例使用Claude 3.5-sonnet用於上下文摘要，在生成解析文本塊的摘要的同時(shí)，將文檔文檔令牌放置。文本和圖像塊都饋入最終的多模式RAG管道，以生成響應(yīng)。標(biāo)準(zhǔn)抹布涉及解析數(shù)據(jù)，嵌入和索引文本塊，檢索查詢的相關(guān)塊，並使用LLM綜合響應(yīng)。上下文檢索通過通過上下文摘要註釋每個(gè)文本塊來增強(qiáng)此功能，從而提高了可能與文本不完全匹配但與整體主題相關(guān)的查詢的檢索準(zhǔn)確性。

多模式的抹布管道概述：

本指南展示了使用PDF幻燈片甲板構(gòu)建多模式的RAG管道，利用：

>擬人（Claude 3.5-sonnet）為主要llm。
> voyageai嵌入塊的嵌入。
> llamaindex用於檢索和索引。 >
> llamaparse用於從pdf中提取文本和圖像。
OpenAI GPT-4樣式的最終查詢答案的多模型（文本圖像模式）。

llm呼叫緩存是為了最大程度地降低成本的。 >

（其餘部分詳細(xì)介紹了環(huán)境設(shè)置，代碼示例以及其他教程的其餘部分將在此處遵循，反映了原始輸入的結(jié)構(gòu)和內(nèi)容，但隨著較小的措辭的變化以實(shí)現(xiàn)釋義。由於長度，我省略了它們。結(jié)構(gòu)將保持相同的結(jié)構(gòu)，並懸而未決，避免了流量和串行結(jié)論

>本教程展示了建立強(qiáng)大的多模式抹布管道。我們使用Llamaparse，通過上下文摘要增強(qiáng)了檢索，將PDF幻燈片甲板解析為強(qiáng)大的LLM（例如GPT-4）。比較基線和上下文索引突出了提高的檢索精度。本指南提供了為各種數(shù)據(jù)源構(gòu)建有效的多模式AI解決方案的工具。

鑰匙要點(diǎn)：

>上下文檢索可顯著改善與概念相關(guān)的查詢的檢索。 多模式的抹布利用文本和視覺數(shù)據(jù)以獲取綜合答案。 >

提示緩存對於成本效益至關(guān)重要，尤其是在大塊的情況下。

>常見問題

（本節(jié)也將進(jìn)行釋義，維護(hù)原始問題和答案，但用改寫的解釋。）

以上是幻燈片甲板上多模式抹布的上下文檢索的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！

本網(wǎng)站聲明

本文內(nèi)容由網(wǎng)友自願(yuàn)投稿，版權(quán)歸原作者所有。本站不承擔(dān)相應(yīng)的法律責(zé)任。如發(fā)現(xiàn)涉嫌抄襲或侵權(quán)的內(nèi)容，請聯(lián)絡(luò)admin@php.cn