AI模型的自主學(xué)習(xí)能力：超越編程語言的學(xué)習(xí)方式

學(xué)習(xí)是一個(gè)持續(xù)的過程，無論是對(duì)人類還是AI模型而言。然而，一個(gè)經(jīng)常出現(xiàn)的問題是，這些AI模型能否像人類一樣自主學(xué)習(xí)？根據(jù)最新的發(fā)展——它們可以。為了更好地理解這一點(diǎn)，讓我們回到大學(xué)時(shí)代，當(dāng)時(shí)C 、Java和Python是我們精通計(jì)算機(jī)科學(xué)需要掌握的主要編程語言。學(xué)習(xí)這些語言需要理解語法、語義、實(shí)際應(yīng)用和問題解決。因此，為了熟練掌握這些語言，我們進(jìn)行了持續(xù)的練習(xí)（或者可以說接受了訓(xùn)練）。此外，我們也從同學(xué)和教授那里學(xué)到了很多東西，對(duì)吧？同樣，正如人類可以從自身的思考、專業(yè)知識(shí)和其他媒介中學(xué)習(xí)一樣，大型語言模型(LLM)或許也可以。

然而，無論是對(duì)人類還是LLM來說，獲得專業(yè)知識(shí)或成為某一領(lǐng)域的專家都是一段艱辛的旅程。我們了解人類的學(xué)習(xí)過程和推理能力，以及它們在決策和完成任務(wù)方面的能力，但LLM的訓(xùn)練過程是什么樣的呢？

我可以這么說：

1. 首先是LLM的預(yù)訓(xùn)練：在此步驟中，您幫助模型學(xué)習(xí)模式，例如語法、句子結(jié)構(gòu)，甚至單詞和概念之間的關(guān)系。
2. 指令微調(diào)（或微調(diào)）：為了微調(diào)模型，使用包含指令示例和所需響應(yīng)的精選數(shù)據(jù)集。
3. 基于人類反饋的強(qiáng)化學(xué)習(xí) (RLHF)：人類評(píng)估者對(duì)模型的響應(yīng)進(jìn)行排名，這被進(jìn)一步用于改進(jìn)模型與用戶期望的一致性。

這說得通，對(duì)吧？但是，如果我們構(gòu)建一個(gè)自主工作流程來讓模型學(xué)習(xí)并在獨(dú)立進(jìn)行所有檢查的同時(shí)給出輸出，會(huì)怎么樣呢？這就像擁有一個(gè)可以完成所有工作而無需任何人工干預(yù)的私人助理。此外，在本文中，我們將討論用于構(gòu)建AI系統(tǒng)的4種自主AI設(shè)計(jì)模式。

• 什么是自主AI反思模式？
• 什么是自主AI工具使用模式？
• 什么是自主AI規(guī)劃模式？
• 什么是自主AI多智能體模式？

概述

• 本文討論了AI模型，特別是像GPT這樣的大型語言模型(LLM)，如何通過采用模擬人類迭代式問題解決的自主工作流程來自主學(xué)習(xí)。
• 自主工作流程通過逐步細(xì)化任務(wù)來增強(qiáng)AI性能，這類似于人類如何反復(fù)檢查和改進(jìn)他們的工作以獲得更好的結(jié)果。
• 介紹了四個(gè)關(guān)鍵的自主設(shè)計(jì)模式——反思、工具使用、規(guī)劃和多智能體協(xié)作——作為使AI系統(tǒng)更自主和更有能力的策略。

目錄

• 概述
• 什么是自主設(shè)計(jì)模式？
• 自主設(shè)計(jì)模式：評(píng)估
• 您必須知道的4種自主設(shè)計(jì)模式
  • 反思模式
  • 工具使用模式
  • 規(guī)劃模式
  • 多智能體模式
• 結(jié)論
• 常見問題

什么是自主設(shè)計(jì)模式？

自主設(shè)計(jì)模式被引入作為使LLM更自主的解決方案。與其只向模型提供一個(gè)提示并期望得到最終答案（例如一次性撰寫一篇論文），不如采用類似代理的方法，即逐步多次提示LLM。每個(gè)步驟都會(huì)改進(jìn)任務(wù)，模型會(huì)迭代地改進(jìn)其輸出。

為了更好地理解這一點(diǎn)，讓我們這樣來看：

當(dāng)我們在零樣本模式下提示LLM時(shí)，就像要求某人一口氣寫一個(gè)故事而不進(jìn)行修改一樣。LLM在這方面做得很好，但它們可以做得更好。通過使用類似代理的工作流程，我們可以逐步多次提示LLM。每個(gè)步驟都建立在之前的步驟之上，從而改進(jìn)響應(yīng)。可以把它想象成要求LLM多次檢查文章，并在每次檢查中進(jìn)行改進(jìn)。

每個(gè)步驟的意思是：

讓我們以使用自主工作流程編寫代碼為例：

1. 計(jì)劃代碼的大綱：將任務(wù)分解成更小的模塊或函數(shù)。
2. 收集信息和內(nèi)容：研究庫、算法或現(xiàn)有解決方案。如有需要，請(qǐng)進(jìn)行網(wǎng)絡(luò)搜索或查看文檔。
3. 編寫代碼的初稿：實(shí)現(xiàn)基本功能，重點(diǎn)放在結(jié)構(gòu)而不是完美上。
4. 檢查代碼是否存在低效或錯(cuò)誤：檢查是否存在不必要的代碼、錯(cuò)誤或邏輯缺陷。
5. 修改代碼：重構(gòu)、優(yōu)化或添加注釋以提高清晰度。

重復(fù)此過程，直到代碼高效且簡潔。

通過允許模型獨(dú)立完成這些步驟，自主設(shè)計(jì)模式增強(qiáng)了類似人類的推理和效率。這類似于人類如何分解復(fù)雜的任務(wù)，收集信息，進(jìn)行改進(jìn)，并迭代直到最終結(jié)果令人滿意?，F(xiàn)在，讓我們詳細(xì)了解自主設(shè)計(jì)模式。

自主設(shè)計(jì)模式：評(píng)估

Andrew Ng在Deeplearning.ai上分享的一封信中分析指出，AI驅(qū)動(dòng)的代碼生成取得了進(jìn)展，尤其關(guān)注GPT-3.5和GPT-4等模型的性能。評(píng)估的重點(diǎn)是這些模型在廣為人知的HumanEval編碼基準(zhǔn)測試中的能力，這是一個(gè)評(píng)估算法編寫代碼能力的常用標(biāo)準(zhǔn)。

提供的數(shù)據(jù)顯示了使用AI代理的AI編碼能力的演變。GPT-3.5在零樣本設(shè)置（即沒有任何先驗(yàn)示例）中進(jìn)行測試時(shí)，其正確率為48.1%。同樣在零樣本方式下評(píng)估的GPT-4表現(xiàn)出顯著的改進(jìn)，成功率為67.0%。然而，分析中突出的是，將這些模型集成到迭代代理工作流程（自主工作流程）中如何大幅提高了它們的性能。當(dāng)GPT-3.5被包含在這樣的代理循環(huán)中時(shí)，其準(zhǔn)確率飆升至令人印象深刻的95.1%，遠(yuǎn)遠(yuǎn)超過其基線，甚至接近人類水平的編碼能力。

這一發(fā)現(xiàn)強(qiáng)調(diào)了迭代工作流程（自主工作流程）在增強(qiáng)AI模型性能方面的變革潛力，表明AI輔助編碼的未來可能更多地依賴于這些更先進(jìn)、更具適應(yīng)性的框架，而不是僅僅依賴于模型大小或架構(gòu)的改進(jìn)。

但是，哪些自主設(shè)計(jì)模式完成了對(duì)AI系統(tǒng)的自主權(quán)的委派，使它們能夠更獨(dú)立、更有效地行動(dòng)呢？這些模式構(gòu)建AI代理以執(zhí)行任務(wù)、做出決策以及與其他系統(tǒng)進(jìn)行更類似于人類和更自主的方式進(jìn)行溝通，最終創(chuàng)建既精明又可靠的應(yīng)用程序。

您必須知道的4種自主設(shè)計(jì)模式

在自主AI和關(guān)鍵設(shè)計(jì)模式中，了解每種模式如何賦能大型語言模型(LLM)如GPT更自主和有效地運(yùn)行至關(guān)重要。這些設(shè)計(jì)模式通過鼓勵(lì)自我評(píng)估、工具集成、戰(zhàn)略思維和協(xié)作來突破AI的局限性。讓我們探索四個(gè)重要的自主設(shè)計(jì)模式，這些模式塑造了這些模型如何運(yùn)行和執(zhí)行復(fù)雜任務(wù)。

以下是自主設(shè)計(jì)模式的類型：

1. 反思模式

反思模式側(cè)重于提高AI評(píng)估和改進(jìn)自身輸出的能力。想象一下，一個(gè)LLM像人類審稿人一樣審查其生成的內(nèi)容或代碼，識(shí)別錯(cuò)誤、差距或需要改進(jìn)的領(lǐng)域，然后提出改進(jìn)建議。

這種自我批評(píng)循環(huán)并不局限于單次迭代。AI可以根據(jù)需要重復(fù)反思過程多次，以獲得改進(jìn)的、完善的結(jié)果。例如，如果任務(wù)是編寫軟件，LLM可以生成初始版本，批評(píng)其自身的邏輯和結(jié)構(gòu)，并修改代碼。反思的迭代性質(zhì)隨著時(shí)間的推移會(huì)產(chǎn)生更強(qiáng)大、更可靠的輸出。

這種模式在需要精確度的任務(wù)中特別有用，例如內(nèi)容創(chuàng)建、問題解決或代碼生成。采用這種方法可以通過自我引導(dǎo)的更正來提高模型的準(zhǔn)確性和可靠性。

一個(gè)有趣的例子是自反思RAG。SELF-RAG是一個(gè)旨在通過將檢索和自反思集成到文本生成過程中來提高語言模型的質(zhì)量和事實(shí)準(zhǔn)確性的框架。傳統(tǒng)的檢索增強(qiáng)生成 (RAG)模型通過結(jié)合相關(guān)的檢索到的段落來增強(qiáng)響應(yīng)，但通常會(huì)檢索固定數(shù)量的文檔，而不管其相關(guān)性如何，這可能會(huì)引入噪聲或不相關(guān)的內(nèi)容。SELF-RAG通過一種自適應(yīng)方法解決了這些限制，這種方法根據(jù)生成的內(nèi)容動(dòng)態(tài)檢索信息，并使用反思標(biāo)記來評(píng)估生成的質(zhì)量。

SELF-RAG如何使用反思？

SELF-RAG通過“反思標(biāo)記”結(jié)合自反思機(jī)制，“反思標(biāo)記”用于評(píng)估文本生成的各個(gè)方面，例如相關(guān)性、支持和整體效用。在生成過程中，模型會(huì)評(píng)估是否需要檢索，并通過在不同階段批評(píng)自己來評(píng)估生成內(nèi)容的質(zhì)量。

以下是便于理解的圖表：

• 傳統(tǒng)RAG首先檢索固定數(shù)量的文檔，而Self-RAG會(huì)根據(jù)正在生成的內(nèi)容動(dòng)態(tài)執(zhí)行檢索。
• Self-RAG評(píng)估多個(gè)生成的片段，批評(píng)其質(zhì)量，并選擇性地組合最準(zhǔn)確的信息。
• Self-RAG的迭代過程能夠逐步改進(jìn)生成，提高輸出的準(zhǔn)確性和相關(guān)性。

簡而言之，Self-RAG增加了一層額外的自我反思和改進(jìn)，從而產(chǎn)生更可靠和精確的答案。

2. 工具使用模式

工具使用模式通過允許LLM與外部工具和資源交互來顯著擴(kuò)展其能力，從而增強(qiáng)其解決問題的能力。遵循此模式的AI不會(huì)僅僅依賴于內(nèi)部計(jì)算或知識(shí)，它可以訪問數(shù)據(jù)庫、搜索網(wǎng)絡(luò)，甚至可以通過Python等編程語言執(zhí)行復(fù)雜函數(shù)。

例如，可以提示LLM為特定查詢從網(wǎng)絡(luò)檢索數(shù)據(jù)、分析數(shù)據(jù)并將其集成到其輸出中。或者，它可能被賦予計(jì)算統(tǒng)計(jì)結(jié)果、生成圖像或操作電子表格的任務(wù)——這些操作超出了簡單的文本生成。通過結(jié)合工具的使用，LLM從靜態(tài)知識(shí)庫發(fā)展成為能夠與外部系統(tǒng)交互以實(shí)現(xiàn)目標(biāo)的動(dòng)態(tài)代理。

這種模式之所以強(qiáng)大，是因?yàn)樗试SAI系統(tǒng)處理更復(fù)雜、多方面的任務(wù)，而僅靠內(nèi)部知識(shí)是不夠的，從而將其效用擴(kuò)展到現(xiàn)實(shí)世界的應(yīng)用中。

3. 規(guī)劃模式

規(guī)劃模式使LLM能夠?qū)⒋笮蛷?fù)雜的任務(wù)分解成更小、更易于管理的組件。規(guī)劃使代理能夠?qū)φ?qǐng)求做出反應(yīng)，并戰(zhàn)略性地構(gòu)建實(shí)現(xiàn)目標(biāo)所需的步驟。

LLM使用規(guī)劃模式不會(huì)線性地、臨時(shí)地處理問題，而是會(huì)創(chuàng)建一個(gè)子任務(wù)路線圖，確定完成任務(wù)最有效的路徑。例如，在編碼時(shí)，LLM會(huì)先概述整體結(jié)構(gòu)，然后再實(shí)現(xiàn)各個(gè)函數(shù)。這避免了混亂或曲折的邏輯，并使AI專注于主要目標(biāo)。

ReAct（推理和行動(dòng)）和ReWOO（使用開放本體進(jìn)行推理）通過將決策和情境推理集成到規(guī)劃過程中來進(jìn)一步擴(kuò)展這種方法。ReAct使LLM能夠在推理（思考問題）和行動(dòng)（執(zhí)行特定任務(wù)）之間動(dòng)態(tài)切換，從而實(shí)現(xiàn)更具適應(yīng)性和靈活性的規(guī)劃。通過結(jié)合這兩個(gè)步驟，LLM可以迭代地改進(jìn)其方法，解決出現(xiàn)的意外挑戰(zhàn)。

另一方面，ReWOO通過使用開放世界本體來指導(dǎo)推理來增強(qiáng)規(guī)劃模式。這意味著LLM可以結(jié)合來自各個(gè)領(lǐng)域的更廣泛的情境信息和知識(shí)，從而做出更明智的決策。借助ReWOO，AI可以根據(jù)新獲得的信息或變化的需求實(shí)時(shí)調(diào)整計(jì)劃，確保更強(qiáng)大和全面的問題解決方法。

總的來說，規(guī)劃模式、ReAct和ReWOO使LLM能夠以結(jié)構(gòu)化但適應(yīng)性強(qiáng)的方式處理復(fù)雜的任務(wù)，從而實(shí)現(xiàn)高效且以目標(biāo)為導(dǎo)向的執(zhí)行。

此外，生成結(jié)構(gòu)化計(jì)劃（或“用戶請(qǐng)求摘要”）確保AI跟蹤所有步驟，并且不會(huì)忽略更廣泛的任務(wù)。這種方法確保了結(jié)果的更高質(zhì)量和一致性，尤其是在復(fù)雜的問題解決或多階段項(xiàng)目中。

4. 多智能體模式

多智能體模式建立在委派的概念之上，類似于人類團(tuán)隊(duì)中的項(xiàng)目管理。這種模式涉及將不同的代理（具有特定角色或功能的LLM實(shí)例）分配給不同的子任務(wù)。這些代理可以獨(dú)立地處理其分配的任務(wù)，同時(shí)也可以進(jìn)行溝通和協(xié)作以實(shí)現(xiàn)統(tǒng)一的結(jié)果。

多智能體模式有幾種類型：

1. 協(xié)作代理: 多個(gè)代理共同處理任務(wù)的不同部分，共享進(jìn)度并朝著統(tǒng)一的結(jié)果努力。每個(gè)代理可能專門從事不同的領(lǐng)域。
2. 監(jiān)督代理: 一個(gè)中央監(jiān)督代理管理其他代理，協(xié)調(diào)其活動(dòng)并驗(yàn)證結(jié)果以確保質(zhì)量。
3. 分層團(tuán)隊(duì): 一個(gè)結(jié)構(gòu)化的系統(tǒng)，其中高級(jí)代理監(jiān)督低級(jí)代理，決策通過各級(jí)層層下達(dá)以完成復(fù)雜的任務(wù)。

有關(guān)此內(nèi)容的更多詳細(xì)信息，請(qǐng)瀏覽：多智能體協(xié)作。

例如，在一個(gè)需要文本分析和數(shù)值計(jì)算的場景中，兩個(gè)獨(dú)立的代理可以處理每個(gè)任務(wù)，共享其結(jié)果以形成全面的解決方案。一個(gè)代理可能專注于理解上下文，而另一個(gè)代理處理數(shù)據(jù)，它們共同提供全面的響應(yīng)。這種模式對(duì)于處理需要多種技能的大規(guī)?；驈?fù)雜問題特別有效。

簡而言之，多智能體模式反映了人類如何在各個(gè)專業(yè)領(lǐng)域進(jìn)行協(xié)作，確保每個(gè)代理專注于其優(yōu)勢，同時(shí)為更大的協(xié)調(diào)努力做出貢獻(xiàn)。

通過掌握這四種自主設(shè)計(jì)模式，開發(fā)人員和用戶都可以釋放AI系統(tǒng)的全部潛力。反思模式通過自我評(píng)估提高準(zhǔn)確性和質(zhì)量，工具使用模式實(shí)現(xiàn)動(dòng)態(tài)的現(xiàn)實(shí)世界交互，規(guī)劃模式為解決復(fù)雜任務(wù)提供路線圖，多智能體協(xié)作確保多個(gè)代理有效地協(xié)同工作?？偟膩碚f，這些模式為構(gòu)建更智能、更自主的AI系統(tǒng)奠定了基礎(chǔ)，這些系統(tǒng)能夠應(yīng)對(duì)現(xiàn)實(shí)世界的挑戰(zhàn)。

結(jié)論

自主設(shè)計(jì)模式強(qiáng)調(diào)了自主工作流程在使AI模型（特別是大型語言模型 (LLM)）更自主和高效方面的變革潛力。它解釋說，雖然像GPT-3.5和GPT-4這樣的模型在零樣本任務(wù)中表現(xiàn)良好，但當(dāng)采用迭代的自主工作流程時(shí)，它們的準(zhǔn)確性和有效性會(huì)顯著提高。這種方法允許模型分解任務(wù)、自我評(píng)估、利用外部工具、進(jìn)行戰(zhàn)略規(guī)劃以及與其他代理協(xié)作，從而增強(qiáng)其解決問題的能力。

本文介紹了四個(gè)關(guān)鍵的設(shè)計(jì)模式——反思、工具使用、規(guī)劃和多智能體——它們構(gòu)成了這些自主工作流程的基礎(chǔ)。這些模式突破了AI的局限性，并使AI系統(tǒng)能夠更獨(dú)立、更智能地運(yùn)行，就像人類處理復(fù)雜任務(wù)一樣。這表明未來的AI進(jìn)步將取決于增加模型規(guī)模和開發(fā)更具適應(yīng)性和戰(zhàn)略性的工作流程。

在本系列關(guān)于自主設(shè)計(jì)模式的文章中，我們將進(jìn)一步詳細(xì)探討每個(gè)設(shè)計(jì)模式：反思、工具使用、規(guī)劃和多智能體，揭示它們?nèi)绾问笰I系統(tǒng)變得更自主和更有能力。

敬請(qǐng)期待!!!!

探索自主AI先鋒計(jì)劃，以加深您對(duì)代理AI的理解并釋放其全部潛力。加入我們，踏上發(fā)現(xiàn)創(chuàng)新見解和應(yīng)用的旅程！

常見問題

Q1。什么是AI中的自主設(shè)計(jì)模式？****答：自主設(shè)計(jì)模式是用于使AI系統(tǒng)（特別是大型語言模型 (LLM)）更自主和有效的策略。這些模式允許AI通過模擬類似人類的問題解決和推理過程，更獨(dú)立地執(zhí)行任務(wù)、做出決策以及與其他系統(tǒng)交互。關(guān)鍵模式包括反思、工具使用、規(guī)劃和多智能體協(xié)作。

Q2。反思模式如何提高AI性能？****答：反思模式增強(qiáng)了AI自我評(píng)估和改進(jìn)其輸出的能力。通過反復(fù)審查自己的工作，AI會(huì)識(shí)別錯(cuò)誤、差距或需要改進(jìn)的領(lǐng)域，并在迭代循環(huán)中進(jìn)行更正。這種模式在需要精確度的任務(wù)中（例如代碼生成或內(nèi)容創(chuàng)建）被證明特別有用，因?yàn)樗兄诋a(chǎn)生更準(zhǔn)確和可靠的結(jié)果。

Q3。在AI工作流程中使用工具使用模式的好處是什么？****答：工具使用模式通過允許AI與外部工具和資源交互來擴(kuò)展AI的能力。AI不會(huì)僅僅依賴于內(nèi)部知識(shí)，它可以訪問數(shù)據(jù)庫、執(zhí)行網(wǎng)絡(luò)搜索或使用Python等編程語言執(zhí)行函數(shù)。這使得AI更加多功能，并且能夠處理需要超出其現(xiàn)有數(shù)據(jù)的信息或計(jì)算的復(fù)雜任務(wù)。

Q4。規(guī)劃模式如何幫助LLM處理復(fù)雜任務(wù)？****答：規(guī)劃模式使AI模型能夠?qū)?fù)雜的任務(wù)分解成更小、更易于管理的步驟，從而創(chuàng)建解決問題的路線圖。這種方法有助于保持對(duì)主要目標(biāo)的關(guān)注，并確保高效地執(zhí)行任務(wù)。像ReAct（推理和行動(dòng)）和ReWOO（使用開放本體進(jìn)行推理）這樣的變體結(jié)合了決策和自適應(yīng)策略，允許AI根據(jù)新信息的出現(xiàn)動(dòng)態(tài)地改進(jìn)其方法。

以上是前4個(gè)代理AI設(shè)計(jì)模式的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！