Microsoft的TNT-LLM：革命性的分類學(xué)生成和文本分類

Microsoft揭開(kāi)了TNT-LLM的揭幕，這是一種開(kāi)創(chuàng)性的系統(tǒng)自動(dòng)化分類法創(chuàng)建和文本分類，以速度和準(zhǔn)確性超過(guò)傳統(tǒng)方法。 這種創(chuàng)新的方法利用大型語(yǔ)言模型（LLM）的力量簡(jiǎn)化和擴(kuò)展分類法和分類器的產(chǎn)生，從而最大程度地減少手動(dòng)干預(yù)。 這對(duì)于像Bing Copilot這樣的應(yīng)用程序特別有益，在該應(yīng)用程序中，管理動(dòng)態(tài)和多樣化的文本數(shù)據(jù)至關(guān)重要。

本文使用GPT-4O和Langgraph來(lái)演示TNT-LLM的實(shí)現(xiàn)，以進(jìn)行有效的新聞文章集群。 有關(guān)GPT-4O和Langgraph的更多信息，請(qǐng)咨詢以下資源：

>

什么是OpenAi的GPT-4O？

> GPT-4O API教程：開(kāi)始使用OpenAI的API
langgraph教程：什么是langgraph，如何使用它？
• >
• >原始的TNT-LLM研究論文，“ TNT-LLM：大規(guī)模使用大語(yǔ)言模型的文本挖掘”，提供了有關(guān)系統(tǒng)的全面細(xì)節(jié)。
理解TNT-LLM

> tnt-llm（使用大語(yǔ)言模型的分類學(xué)和文本分類）是一個(gè)兩階段框架，旨在從文本數(shù)據(jù)中生成和分類分類法。

階段1：分類學(xué)生成

>

這個(gè)初始階段利用了文本文檔的樣本和特定的指令（例如，“生成分類法對(duì)新聞新聞文章產(chǎn)生分類法”）。 LLM總結(jié)了每個(gè)文檔，提取關(guān)鍵信息。 通過(guò)迭代精致，LLM構(gòu)建，修改和完善分類法，從而產(chǎn)生了有效新聞文章分類的標(biāo)簽和描述的結(jié)構(gòu)化層次結(jié)構(gòu)。

來(lái)源：Mengting Wan等人。

階段2：文本分類

>

>第二階段采用生成的分類法來(lái)標(biāo)記較大的數(shù)據(jù)集。 LLM應(yīng)用了這些標(biāo)簽，為輕量級(jí)分類器（例如邏輯回歸）創(chuàng)建培訓(xùn)數(shù)據(jù)。該訓(xùn)練有素的分類器有效地標(biāo)記了整個(gè)數(shù)據(jù)集或執(zhí)行實(shí)時(shí)分類。

來(lái)源：Mengting Wan等人。

> tnt-llm的適應(yīng)性使其適用于各種文本分類任務(wù)，包括意圖檢測(cè)和主題分類。

>

> TNT-LLM 的優(yōu)勢(shì)

TNT-LLM為大規(guī)模文本挖掘和分類提供了顯著優(yōu)勢(shì)：

• >自動(dòng)分類法生成：自動(dòng)從原始文本中創(chuàng)建詳細(xì)且可解釋的分類法，從而消除了對(duì)大量手動(dòng)工作和域?qū)I(yè)知識(shí)的需求。>
• 可擴(kuò)展的分類：>使用輕巧模型有效地處理大型數(shù)據(jù)集和實(shí)時(shí)分類的可擴(kuò)展文本分類。>
• 成本效益：>通過(guò)分層LLM利用率優(yōu)化資源使用（例如，GPT-4用于分類學(xué)生成，GPT-3.5-Turbo用于摘要以及最終分類的邏輯回歸）。
>高質(zhì)量輸出：迭代分類學(xué)生成可確保高質(zhì)量，相關(guān)和準(zhǔn)確的分類。
• > >最小的人類干預(yù)：
減少了手動(dòng)輸入，最大程度地減少潛在偏見(jiàn)和不一致。
• 靈活性：
適應(yīng)各種文本分類任務(wù)和域，支持與各種LLM的集成，嵌入方法和分類器。>
• 實(shí)施TNT-LLM
逐步實(shí)施指南如下：

>安裝：

安裝必要的軟件包：

設(shè)置API鍵和模型名稱的環(huán)境變量：

pip install langgraph langchain langchain_openai

核心概念：

export AZURE_OPENAI_API_KEY='your_api_key_here'
export AZURE_OPENAI_MODEL='your_deployment_name_here'
export AZURE_OPENAI_ENDPOINT='deployment_endpoint'

>文檔：

原始文本數(shù)據(jù)（文章，聊天日志），使用

> class。
• 分類法：分類或主題的簇，由Doc>類管理。
• 構(gòu)建一個(gè)簡(jiǎn)單的TNT-LLM應(yīng)用程序：TaxonomyGenerationState>
>以下各節(jié)詳細(xì)介紹了實(shí)現(xiàn)步驟，使用代碼段來(lái)說(shuō)明關(guān)鍵過(guò)程。 由于原始代碼的長(zhǎng)度，這里的完整再現(xiàn)是不切實(shí)際的。 但是，以下提供了該過(guò)程的結(jié)構(gòu)化概述：

步驟0：定義圖形狀態(tài)類，加載數(shù)據(jù)集，并初始化GPT-4O：

這涉及定義數(shù)據(jù)結(jié)構(gòu)并加載新聞文章數(shù)據(jù)集。 初始化了GPT-4O模型在整個(gè)管道中使用。

>

• >>步驟1：總結(jié)文檔：使用LLM提示。

  總結(jié)了每個(gè)文檔

• >>步驟2：創(chuàng)建MiniBatches：摘要的文檔分為MINIBATCHES用于并行處理。>

• >

  步驟3：生成初始分類法：從第一個(gè)Minibatch生成初始分類法。

>
• 步驟4：更新分類法：

  分類法已迭代更新，隨后處理了隨后的小匹配。

  >
步驟5：審查分類法：
• 最終分類法的準(zhǔn)確性和相關(guān)性進(jìn)行了審查。

• >步驟6：使用狀態(tài)圖編排TNT-LLM管道：>

>
• 步驟7：群集和顯示TNT-LLM的新聞文章分類法：

  顯示了最終的分類法，顯示了新聞文章的簇。

結(jié)論

> TNT-LLM為大規(guī)模文本挖掘和分類提供了強(qiáng)大而有效的解決方案。它的自動(dòng)化功能大大減少了分析非結(jié)構(gòu)化文本數(shù)據(jù)所需的時(shí)間和資源，從而實(shí)現(xiàn)了跨各個(gè)領(lǐng)域的數(shù)據(jù)驅(qū)動(dòng)決策。 跨行業(yè)進(jìn)一步發(fā)展和應(yīng)用的潛力是巨大的。 對(duì)于對(duì)進(jìn)一步LLM應(yīng)用程序開(kāi)發(fā)感興趣的人，建議使用有關(guān)“使用Langchain開(kāi)發(fā)LLM申請(qǐng)”的課程。

以上是GPT-4O和Langgraph教程：構(gòu)建TNT-LLM應(yīng)用程序的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！