介紹

在基于數(shù)據(jù)運(yùn)行的當(dāng)前世界中，關(guān)系A(chǔ)I圖（RAG）通過(guò)關(guān)聯(lián)數(shù)據(jù)并繪制關(guān)系來(lái)對(duì)行業(yè)產(chǎn)生很大影響。但是，如果一個(gè)人在這個(gè)意義上比另一個(gè)要多得多，該怎么辦？引入多模式抹布，文本和圖像，文檔等，以更好地預(yù)覽數(shù)據(jù)。 Azure文檔智能中的新高級(jí)功能擴(kuò)展了RAG的功能。這些功能為提取，分析和解釋多模式數(shù)據(jù)提供了必不可少的工具。本文將定義抹布，并解釋多模式如何增強(qiáng)它。我們還將討論Azure文檔智能對(duì)于構(gòu)建這些高級(jí)系統(tǒng)至關(guān)重要。

這是基于Manoranjan Rajguru在2024年Datahack Summit中對(duì)Manoranjan Rajguru關(guān)于增壓和Azure文檔智能的增壓抹布的最新演講。

學(xué)習(xí)成果

• 了解關(guān)系A(chǔ)I圖（RAG）的核心概念及其在數(shù)據(jù)分析中的重要性。
• 探索多模式數(shù)據(jù)的集成，以增強(qiáng)抹布系統(tǒng)的功能和準(zhǔn)確性。
• 了解如何使用Azure文檔智能通過(guò)各種AI模型來(lái)構(gòu)建和優(yōu)化多模式的破布。
• 在欺詐檢測(cè)，客戶(hù)服務(wù)和藥物發(fā)現(xiàn)中，了解多模式破布的實(shí)際應(yīng)用。
• 發(fā)現(xiàn)未來(lái)的趨勢(shì)和資源，以促進(jìn)您在多模式抹布和相關(guān)AI技術(shù)方面的知識(shí)。

目錄

• 介紹
• 什么是關(guān)系A(chǔ)I圖（RAG）？
  • 抹布組件的解剖結(jié)構(gòu)
• 什么是多模式？
• 什么是Azure文檔智能？
• 了解多模式抹布
• 多模式抹布的好處
  • 改進(jìn)的實(shí)體識(shí)別
  • 增強(qiáng)的關(guān)系提取
  • 更好的知識(shí)圖構(gòu)造
• Azure文檔智能抹布
• 使用Azure文檔智能構(gòu)建多模式的抹布系統(tǒng)：分步指南
  • 模型培訓(xùn)
  • 評(píng)估和改進(jìn)
• 多模式抹布的用例
  • 欺詐檢測(cè)
  • 客戶(hù)服務(wù)聊天機(jī)器人
  • 藥物發(fā)現(xiàn)
• 多模式抹布的未來(lái)
• 常見(jiàn)問(wèn)題

什么是關(guān)系A(chǔ)I圖（RAG）？

關(guān)系A(chǔ)I圖（RAG）是用于映射，存儲(chǔ)和分析圖形格式數(shù)據(jù)之間關(guān)系的框架。它的運(yùn)作是根據(jù)信息互連而不是隔離的原則。這種基于圖的方法概述了復(fù)雜的關(guān)系，比傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)更復(fù)雜的分析。

在常規(guī)的抹布中，數(shù)據(jù)存儲(chǔ)在兩個(gè)主要組件中，它們是節(jié)點(diǎn)或?qū)嶓w，第二個(gè)是實(shí)體之間的邊緣或關(guān)系。例如，該節(jié)點(diǎn)可以與客戶(hù)端相對(duì)應(yīng)，而邊緣（如果客戶(hù)在客戶(hù)服務(wù)應(yīng)用程序中使用），則可以與客戶(hù)進(jìn)行。該圖可以捕獲它們之間的不同實(shí)體及其關(guān)系，并幫助企業(yè)對(duì)客戶(hù)的行為，趨勢(shì)甚至異常值進(jìn)行進(jìn)一步分析。

抹布組件的解剖結(jié)構(gòu)

• 專(zhuān)家系統(tǒng)：Azure形式識(shí)別器，布局模型，文檔庫(kù)。
• 數(shù)據(jù)攝入：處理各種數(shù)據(jù)格式。
• 塊：數(shù)據(jù)塊的最佳策略。
• 索引：搜索查詢(xún)，過(guò)濾器，方面，評(píng)分。
• 提示：矢量，語(yǔ)義或傳統(tǒng)方法。
• 用戶(hù)界面：設(shè)計(jì)數(shù)據(jù)顯示。
• 集成：Azure認(rèn)知搜索和OpenAI服務(wù)。

什么是多模式？

探索關(guān)系A(chǔ)I圖和當(dāng)今的AI系統(tǒng)，多模式是指系統(tǒng)處理不同類(lèi)型或“模態(tài)”信息并在單個(gè)復(fù)發(fā)周期內(nèi)合并它們的能力。每種模式都對(duì)應(yīng)于特定類(lèi)型的數(shù)據(jù)，例如文本，圖像，音頻或任何帶有用于構(gòu)建圖形的相關(guān)數(shù)據(jù)的結(jié)構(gòu)化設(shè)置，從而可以分析數(shù)據(jù)的相互依賴(lài)性。

多模式通過(guò)允許AI系統(tǒng)處理各種信息來(lái)源并提取更深入的見(jiàn)解，從而擴(kuò)展了處理一種數(shù)據(jù)形式的傳統(tǒng)方法。在抹布系統(tǒng)中，多模式特別有價(jià)值，因?yàn)樗鰪?qiáng)了系統(tǒng)識(shí)別實(shí)體，理解關(guān)系和從各種數(shù)據(jù)格式中提取知識(shí)的能力，從而有助于更準(zhǔn)確，更詳細(xì)的知識(shí)圖。

什么是Azure文檔智能？

Azure文檔智能以前稱(chēng)為Azure形式識(shí)別器是Microsoft Azure服務(wù)，它使組織能夠從形式的結(jié)構(gòu)化或非結(jié)構(gòu)化收據(jù)，發(fā)票和許多其他數(shù)據(jù)類(lèi)型等文檔中提取信息。該服務(wù)依靠現(xiàn)成的AI模型，這些模型有助于閱讀和理解文檔的內(nèi)容，Relief的客戶(hù)可以?xún)?yōu)化其文檔處理，避免手動(dòng)數(shù)據(jù)輸入并從數(shù)據(jù)中提取寶貴的見(jiàn)解。

Azure文檔智能允許用戶(hù)利用ML算法和NLP，使系統(tǒng)能夠識(shí)別特定的實(shí)體，例如名稱(chēng)，日期，發(fā)票，表格中的數(shù)字，表格和實(shí)體之間的關(guān)系。它接受諸如PDF的格式，具有JPEG和PNG格式的圖像以及掃描文檔，使其成為適合許多企業(yè)的工具。

了解多模式抹布

多模式抹布系統(tǒng)通過(guò)整合各種數(shù)據(jù)類(lèi)型（例如文本，圖像和結(jié)構(gòu)化數(shù)據(jù)）來(lái)增強(qiáng)傳統(tǒng)抹布。這種方法為知識(shí)提取和關(guān)系映射提供了更全面的看法。它允許更有力的見(jiàn)解和決策。通過(guò)使用多模式，RAG系統(tǒng)可以處理和關(guān)聯(lián)各種信息源，從而使分析更加適應(yīng)性和全面。

用多模式增壓抹布

傳統(tǒng)的破布主要關(guān)注結(jié)構(gòu)化數(shù)據(jù)，但現(xiàn)實(shí)世界中的信息有多種形式。通過(guò)合并多模式數(shù)據(jù)（例如，文檔，圖像甚至音頻的文本），抹布變得更加強(qiáng)大。多模式抹布可以：

• 整合來(lái)自多個(gè)來(lái)源的數(shù)據(jù)：同時(shí)使用文本，圖像和其他數(shù)據(jù)類(lèi)型來(lái)繪制更復(fù)雜的關(guān)系。
• 增強(qiáng)上下文：將視覺(jué)或音頻數(shù)據(jù)添加到文本數(shù)據(jù)中豐富了系統(tǒng)對(duì)關(guān)系，實(shí)體和知識(shí)的理解。
• 處理復(fù)雜的方案：在醫(yī)療保健等領(lǐng)域，多模式抹布可以整合醫(yī)療記錄，診斷圖像和患者數(shù)據(jù)以創(chuàng)建詳盡的知識(shí)圖，從而提供超出單模型模型提供的見(jiàn)解。

多模式抹布的好處

現(xiàn)在讓我們探索以下多模式抹布的好處：

改進(jìn)的實(shí)體識(shí)別

多模式抹布在識(shí)別實(shí)體方面更有效，因?yàn)樗鼈兛梢岳枚喾N數(shù)據(jù)類(lèi)型。例如，它們可以交叉引用圖像數(shù)據(jù)或從電子表格的結(jié)構(gòu)化數(shù)據(jù)來(lái)確保準(zhǔn)確的實(shí)體識(shí)別，而不是僅僅依靠文本。

增強(qiáng)的關(guān)系提取

通過(guò)多模式數(shù)據(jù)，關(guān)系提取變得更加細(xì)微。通過(guò)不僅處理文本，還處理圖像，視頻或PDF，多模式的抹布系統(tǒng)可以檢測(cè)傳統(tǒng)抹布可能會(huì)錯(cuò)過(guò)的復(fù)雜的，分層的關(guān)系。

更好的知識(shí)圖構(gòu)造

多模態(tài)數(shù)據(jù)的集成增強(qiáng)了構(gòu)建知識(shí)圖的能力，以更有效地捕獲現(xiàn)實(shí)世界情景。該系統(tǒng)可以將數(shù)據(jù)鏈接到各種格式上，從而提高知識(shí)圖的深度和準(zhǔn)確性。

Azure文檔智能抹布

Azure文檔智能是Microsoft的AI工具套件，用于從文檔中提取信息。與關(guān)系A(chǔ)I圖（RAG）集成，可以增強(qiáng)文檔的理解。它使用預(yù)先構(gòu)建的模型來(lái)進(jìn)行文檔解析，實(shí)體識(shí)別，關(guān)系提取和提問(wèn)。這種集成有助于抹布處理非結(jié)構(gòu)化數(shù)據(jù)，例如發(fā)票或合同，并將其轉(zhuǎn)換為知識(shí)圖內(nèi)的結(jié)構(gòu)化見(jiàn)解。

預(yù)先構(gòu)建的AI模型用于文檔理解

Azure提供了預(yù)訓(xùn)練的AI模型，可以處理和理解復(fù)雜的文檔格式，包括PDF，圖像和結(jié)構(gòu)化文本數(shù)據(jù)。這些模型旨在自動(dòng)化和增強(qiáng)文檔處理管道，無(wú)縫連接到抹布系統(tǒng)。預(yù)構(gòu)建的型號(hào)具有強(qiáng)大的功能，例如光學(xué)特征識(shí)別（OCR），布局提取以及對(duì)特定文檔字段的檢測(cè)，從而使與抹布系統(tǒng)的集成順利有效。

通過(guò)利用這些模型，組織可以輕松地從文檔中提取和分析數(shù)據(jù)，例如發(fā)票，收據(jù)，研究論文或法律合同。這加快了工作流程，減少人類(lèi)干預(yù)，并確保在抹布系統(tǒng)的知識(shí)圖中捕獲并存儲(chǔ)關(guān)鍵的見(jiàn)解。

具有指定實(shí)體識(shí)別（NER）的實(shí)體識(shí)別

Azure的命名實(shí)體識(shí)別（NER）是從文本繁重文檔中提取結(jié)構(gòu)化信息的關(guān)鍵。它標(biāo)識(shí)了文檔中的人，位置，日期和組織等實(shí)體，并將其連接到關(guān)系圖。當(dāng)整合到多模式抹布中時(shí)，NER通過(guò)識(shí)別各種文檔類(lèi)型的名稱(chēng)，日期和術(shù)語(yǔ)來(lái)增強(qiáng)實(shí)體鏈接的準(zhǔn)確性。

例如，在財(cái)務(wù)文件中，NER可用于提取客戶(hù)名稱(chēng)，交易金額或公司標(biāo)識(shí)符。然后將這些數(shù)據(jù)饋送到抹布系統(tǒng)中，這些數(shù)據(jù)會(huì)自動(dòng)映射這些實(shí)體之間的關(guān)系，從而使組織能夠精確查詢(xún)和分析大型文檔收集。

與關(guān)鍵短語(yǔ)提取（KPE）的關(guān)系提取

Azure文檔智能的另一個(gè)強(qiáng)大功能是關(guān)鍵短語(yǔ)提?。↘PE）。此能力自動(dòng)確定代表文檔中重要關(guān)系或概念的關(guān)鍵短語(yǔ)。 KPE從文本中提取諸如產(chǎn)品名稱(chēng)，法律術(shù)語(yǔ)或藥物互動(dòng)之類(lèi)的短語(yǔ)，并將其鏈接在抹布系統(tǒng)中。

在多模式的抹布中，KPE連接了各種模態(tài)的關(guān)鍵術(shù)語(yǔ) - 文本，圖像和音頻成績(jī)單。這構(gòu)建了更豐富的知識(shí)圖。例如，在醫(yī)療保健中，KPE從病歷中提取了藥物名稱(chēng)和癥狀。它將這些數(shù)據(jù)與研究聯(lián)系起來(lái)，創(chuàng)建一個(gè)綜合圖，有助于準(zhǔn)確的醫(yī)療決策。

與QNA制造商回答的問(wèn)題

Azure的QNA制造商通過(guò)將文檔轉(zhuǎn)換為交互式問(wèn)答系統(tǒng)來(lái)增加對(duì)話智能的對(duì)話維度。它允許用戶(hù)查詢(xún)文檔并根據(jù)其中的信息接收精確的答案。當(dāng)與多模式抹布結(jié)合使用時(shí)，此功能使用戶(hù)能夠跨多個(gè)數(shù)據(jù)格式查詢(xún)，詢(xún)問(wèn)依賴(lài)文本，圖像或結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜問(wèn)題。

例如，在法律文檔分析中，用戶(hù)可以要求QNA制造商從合同或合規(guī)報(bào)告中提取相關(guān)條款。這種能力通過(guò)提供對(duì)復(fù)雜查詢(xún)的即時(shí)，準(zhǔn)確的響應(yīng)來(lái)顯著增強(qiáng)基于文件的決策，而RAG系統(tǒng)可確保保持各個(gè)實(shí)體和概念之間的關(guān)系。

使用Azure文檔智能構(gòu)建多模式的抹布系統(tǒng)：分步指南

現(xiàn)在，我們將更深入地研究如何使用Azure文檔智能構(gòu)建多模式抹布的逐步指南。

數(shù)據(jù)準(zhǔn)備

使用Azure文檔智能構(gòu)建多模式關(guān)系A(chǔ)I圖（RAG）的第一步是準(zhǔn)備數(shù)據(jù)。這涉及收集多模式數(shù)據(jù)，例如文本文檔，圖像，表和其他結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)。 Azure文檔智能具有處理多種數(shù)據(jù)類(lèi)型的能力，通過(guò)以下方式簡(jiǎn)化了此過(guò)程。

• 文檔解析：使用Azure表單識(shí)別器或OCR服務(wù)從文檔中提取相關(guān)信息。這些工具識(shí)別和數(shù)字化文本，使其適合進(jìn)一步分析。
• 實(shí)體識(shí)別：利用命名的實(shí)體識(shí)別（NER）到文件中的人，地點(diǎn)和日期等標(biāo)簽實(shí)體。
• 數(shù)據(jù)結(jié)構(gòu)：將公認(rèn)的實(shí)體組織成一種格式，該格式可用于關(guān)系提取和構(gòu)建抹布模型。諸如JSON或CSV之類(lèi)的結(jié)構(gòu)化格式通常用于存儲(chǔ)此數(shù)據(jù)。

Azure的文檔處理模型自動(dòng)化了許多繁瑣的收集，清潔和將各種數(shù)據(jù)組織為結(jié)構(gòu)化格式進(jìn)行圖形建模的工作。

模型培訓(xùn)

獲得數(shù)據(jù)后，需要完成的下一個(gè)過(guò)程是培訓(xùn)抹布模型。在這里，多模態(tài)實(shí)際上是有用的，因?yàn)樵撃Ｐ捅仨氷P(guān)心各種類(lèi)型的數(shù)據(jù)及其互連。

• 集成多模式數(shù)據(jù)：具體來(lái)說(shuō)，知識(shí)圖應(yīng)包括文本信息，圖像信息和抹布的結(jié)構(gòu)化信息，以訓(xùn)練多模式抹布?？梢岳肞ytorch或Tensorflow和Azure認(rèn)知服務(wù)來(lái)訓(xùn)練與不同類(lèi)型數(shù)據(jù)一起使用的模型。
• 利用Azure的預(yù)培訓(xùn)模型：可以考慮Azure文檔智能具有針對(duì)各種任務(wù)的現(xiàn)成解決方案，例如實(shí)體檢測(cè)，關(guān)鍵字提取或文本摘要。由于這些模型的開(kāi)放性，它們?cè)试S根據(jù)一組某些規(guī)范對(duì)這些模型進(jìn)行調(diào)整，以確保知識(shí)圖具有良好的實(shí)體和關(guān)系。
• 嵌入抹布中的知識(shí)：在抹布中，引入了公認(rèn)的實(shí)體，關(guān)鍵短語(yǔ)和關(guān)系。這賦予了模型來(lái)解釋數(shù)據(jù)以及大數(shù)據(jù)集的數(shù)據(jù)點(diǎn)之間的關(guān)系。

評(píng)估和改進(jìn)

最后一步是評(píng)估和完善多模式的抹布模型，以確保在現(xiàn)實(shí)情況下的準(zhǔn)確性和相關(guān)性。

• 模型驗(yàn)證：使用數(shù)據(jù)子集進(jìn)行驗(yàn)證，Azure的工具可以在實(shí)體識(shí)別，關(guān)系提取和上下文理解等領(lǐng)域中衡量抹布的性能。
• 迭代精致：根據(jù)驗(yàn)證結(jié)果，您可能需要調(diào)整模型的超參數(shù)，微調(diào)嵌入或進(jìn)一步清潔數(shù)據(jù)。 Azure的AI管道提供了用于連續(xù)模型培訓(xùn)和評(píng)估的工具，使其更容易迭代地進(jìn)行抹布模型。
• 知識(shí)圖擴(kuò)展：隨著更多的多模式數(shù)據(jù)可用，可以擴(kuò)展抹布以結(jié)合新見(jiàn)解，以確保模型保持最新和相關(guān)。

多模式抹布的用例

多模式關(guān)系A(chǔ)I圖（RAGS）利用了不同數(shù)據(jù)類(lèi)型的集成，以在各個(gè)領(lǐng)域提供強(qiáng)大的見(jiàn)解。將文本，圖像和結(jié)構(gòu)化數(shù)據(jù)組合到統(tǒng)一圖中的能力使它們?cè)趲讉€(gè)現(xiàn)實(shí)世界應(yīng)用中特別有效。以下是在不同用例中使用多模式抹布的方式：

欺詐檢測(cè)

欺詐檢測(cè)是一個(gè)通過(guò)將各種形式的數(shù)據(jù)集成到可能表明欺詐活動(dòng)的模式和異常的區(qū)域。

• 集成文本和視覺(jué)數(shù)據(jù)：通過(guò)將交易記錄中的文本數(shù)據(jù)與來(lái)自安全錄像或文檔（例如發(fā)票和收據(jù)）的視覺(jué)數(shù)據(jù)相結(jié)合，RAG可以創(chuàng)建交易的全面視圖。例如，如果發(fā)票映像與事務(wù)記錄中的文本數(shù)據(jù)不匹配，則可以標(biāo)記潛在的差異。
• 增強(qiáng)的異常檢測(cè)：多模式方法允許更復(fù)雜的異常檢測(cè)。例如，RAG可以將交易數(shù)據(jù)中的異常模式與掃描文檔或圖像中的視覺(jué)異常相關(guān)聯(lián)，從而提供了更強(qiáng)大的欺詐檢測(cè)機(jī)制。
• 上下文分析：結(jié)合來(lái)自各種來(lái)源的數(shù)據(jù)可以更好地理解上下文理解。例如，將可疑交易模式與客戶(hù)行為或外部數(shù)據(jù)（如已知欺詐方案）聯(lián)系起來(lái)可提高欺詐檢測(cè)的準(zhǔn)確性。

客戶(hù)服務(wù)聊天機(jī)器人

多模式破布通過(guò)提供對(duì)客戶(hù)互動(dòng)的更豐富的了解，可以顯著增強(qiáng)客戶(hù)服務(wù)聊天機(jī)器人的功能。

• 上下文理解：通過(guò)將客戶(hù)查詢(xún)的文本與以前的交互和視覺(jué)數(shù)據(jù)（例如產(chǎn)品圖像或圖表）中的上下文信息集成在一起，聊天機(jī)器人可以提供更準(zhǔn)確且上下文相關(guān)的響應(yīng)。
• 處理復(fù)雜的查詢(xún)：多模式破布允許聊天機(jī)器人理解和處理涉及多種數(shù)據(jù)的復(fù)雜查詢(xún)。例如，如果客戶(hù)詢(xún)問(wèn)訂單狀態(tài)，則聊天機(jī)器人可以訪問(wèn)基于文本的訂單詳細(xì)信息和視覺(jué)數(shù)據(jù)（例如跟蹤地圖），以提供全面的響應(yīng)。
• 改進(jìn)的交互質(zhì)量：通過(guò)利用抹布中存儲(chǔ)的關(guān)系和實(shí)體，聊天機(jī)器人可以根據(jù)客戶(hù)的歷史記錄，偏好以及與各種數(shù)據(jù)類(lèi)型的互動(dòng)提供個(gè)性化響應(yīng)。

藥物發(fā)現(xiàn)

在藥物發(fā)現(xiàn)領(lǐng)域，多模式破布促進(jìn)了各種數(shù)據(jù)源的整合以加速研發(fā)過(guò)程。

• 數(shù)據(jù)整合：藥物發(fā)現(xiàn)涉及來(lái)自科學(xué)文獻(xiàn)，臨床試驗(yàn)，實(shí)驗(yàn)室結(jié)果和分子結(jié)構(gòu)的數(shù)據(jù)。多模式抹布整合了這些不同的數(shù)據(jù)類(lèi)型，以創(chuàng)建一個(gè)支持更明智的決策的綜合知識(shí)圖。
• 關(guān)系提?。?/strong>通過(guò)從各種數(shù)據(jù)源中提取不同實(shí)體（例如藥物化合物，蛋白質(zhì)和疾?。┲g的關(guān)系，抹布有助于識(shí)別潛在的候選藥物并更準(zhǔn)確地預(yù)測(cè)其作用。
• 增強(qiáng)知識(shí)圖構(gòu)造：多模式破布可以構(gòu)建詳細(xì)的知識(shí)圖，這些圖形將實(shí)驗(yàn)數(shù)據(jù)與研究發(fā)現(xiàn)和分子數(shù)據(jù)聯(lián)系起來(lái)。這種整體觀點(diǎn)有助于識(shí)別新藥物目標(biāo)并了解現(xiàn)有藥物的作用機(jī)制。