提示調(diào)整：一種增強(qiáng)大語(yǔ)言模型的參數(shù)效率方法

在大型語(yǔ)言模型（LLMS）快速前進(jìn)的領(lǐng)域中，諸如及時(shí)調(diào)整之類的技術(shù)對(duì)於保持競(jìng)爭(zhēng)優(yōu)勢(shì)至關(guān)重要。 這種方法可以增強(qiáng)預(yù)訓(xùn)練的模型的性能，而沒(méi)有傳統(tǒng)培訓(xùn)的大量計(jì)算開銷。本文探討了促使Tuning的基礎(chǔ)知識(shí)，將其與微調(diào)和及時(shí)的工程進(jìn)行比較，並提供了一個(gè)使用擁抱面和Bloomz-560M型號(hào)的實(shí)踐示例。

>

什麼是提示調(diào)音？

>

提示調(diào)整可改善預(yù)先訓(xùn)練的LLM的性能，而無(wú)需更改其核心體系結(jié)構(gòu)。 它沒(méi)有修改模型的內(nèi)部權(quán)重，而是調(diào)整提示指導(dǎo)模型的響應(yīng)。這涉及“軟提示” - 插入輸入開始的可調(diào)參數(shù)。

圖像源

插圖將傳統(tǒng)模型調(diào)整與迅速調(diào)整進(jìn)行對(duì)比。 傳統(tǒng)方法需要為每個(gè)任務(wù)進(jìn)行單獨(dú)的模型，而提示調(diào)整則使用多個(gè)任務(wù)的單個(gè)基礎(chǔ)模型，調(diào)整特定於任務(wù)的提示。

提示調(diào)諧的工作方式：

1. 軟提示初始化：

   人為創(chuàng)建的令牌被添加到輸入序列中。 這些可以隨機(jī)初始化或使用啟發(fā)式方法。 >

2. 正向通行證和損失評(píng)估：

   >模型處理組合輸入（軟提示實(shí)際輸入），並使用損失函數(shù)將輸出與預(yù)期結(jié)果進(jìn)行比較。

反向傳播：
3. 錯(cuò)誤是反向傳播的，但僅調(diào)整了軟提示參數(shù)，而不是模型的權(quán)重。

   >

迭代：跨多個(gè)時(shí)期的遠(yuǎn)程通過(guò)，損失評(píng)估和反向傳播週期重複，完善了軟提示以最大程度地減少錯(cuò)誤。

4. 提示調(diào)整與微調(diào)與提示工程

   及時(shí)調(diào)整，微調(diào)和及時(shí)的工程是改善LLM性能的獨(dú)特方法：

微調(diào)：

資源密集型，需要在特定於任務(wù)的數(shù)據(jù)集中完成完整的模型再培訓(xùn)。 這可以優(yōu)化模型的權(quán)重，以獲得詳細(xì)的數(shù)據(jù)細(xì)微差別，但需要大量的計(jì)算資源和風(fēng)險(xiǎn)過(guò)高。

• > 提示調(diào)諧：調(diào)整集成到輸入處理中的“軟提示”，修改模型如何解釋提示而不更改其權(quán)重。它在績(jī)效提高和資源效率之間提供了平衡。

• 提示工程：不涉及培訓(xùn)；它僅依賴於製定有效提示，利用模型的固有知識(shí)。 這需要對(duì)模型的深入了解，而沒(méi)有計(jì)算資源。

及時(shí)調(diào)整的好處

提示調(diào)整提供了幾個(gè)優(yōu)點(diǎn)：

• > 資源效率：由於不變的模型參數(shù)而需要最小的計(jì)算資源。

  。

• >快速部署：由於調(diào)整限於軟提示，更快地適應(yīng)了不同的任務(wù)。

• >模型完整性：保留了預(yù)訓(xùn)練的模型的功能和知識(shí)。

• >

  任務(wù)靈活性：單個(gè)基礎(chǔ)模型可以通過(guò)更改軟提示來(lái)處理多個(gè)任務(wù)。

• 降低人類參與：

  自動(dòng)化軟提示優(yōu)化可最大程度地減少人類錯(cuò)誤。

可比性的性能：
• 研究表明，提示調(diào)整可以實(shí)現(xiàn)類似於微調(diào)的性能，尤其是在大型模型中。

  。

  >逐步進(jìn)行調(diào)整（使用擁抱的臉和bloomz-560m）
>

本節(jié)提供了該過(guò)程的簡(jiǎn)化概述，重點(diǎn)是關(guān)鍵步驟和概念。

加載模型和代幣器：

從擁抱面上加載Bloomz-560M型號(hào)和令牌。 （省略了簡(jiǎn)潔的代碼，有關(guān)詳細(xì)信息，請(qǐng)參閱原始內(nèi)容）。
1. >
   初始推理：使用未調(diào)節(jié)的模型運(yùn)行推斷以建立基線。 （省略代碼）。

2. >數(shù)據(jù)集準(zhǔn)備：

   使用合適的數(shù)據(jù)集（例如，
）並給予它。 （省略代碼）。

3. awesome-chatgpt-prompts調(diào)整配置和培訓(xùn)：

   >使用PEFT庫(kù)中使用
和
4. 配置提示。 使用A

   對(duì)象訓(xùn)練模型。 （省略代碼）。 PromptTuningConfig 使用調(diào)諧模型的推斷TrainingArguments>Trainer>與調(diào)諧模型一起運(yùn)行推斷，並將結(jié)果與??基線進(jìn)行比較。 （省略代碼）。

5. 結(jié)論 及時(shí)調(diào)整是有效增強(qiáng)LLM的寶貴技術(shù)。它的資源效率，快速部署和模型完整性的保存使其成為各種應(yīng)用程序的強(qiáng)大工具。 鼓勵(lì)進(jìn)一步探索有關(guān)微調(diào)，及時(shí)工程和高級(jí)LLM技術(shù)的資源。

以上是了解及時(shí)調(diào)整：精確地增強(qiáng)您的語(yǔ)言模型的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！