>本文深入研究大型語(yǔ)言模型（LLMS）的實(shí)際方面，重點(diǎn)介紹了Codex和Constractgpt作為主要示例。 這是探索GPT模型的系列中的第三個(gè)，基于先前關(guān)于預(yù)訓(xùn)練和縮放的討論。

>微調(diào)至關(guān)重要，因?yàn)殡m然預(yù)訓(xùn)練的LLM是用途廣泛，但它們通常不屬于針對(duì)特定任務(wù)的專業(yè)模型。 此外，即使像GPT-3這樣的強(qiáng)大模型也可能在復(fù)雜的說(shuō)明中掙扎，并保持安全和道德標(biāo)準(zhǔn)。 這需要進(jìn)行微調(diào)策略。

>本文重點(diǎn)介紹了兩個(gè)關(guān)鍵的微調(diào)挑戰(zhàn)：適應(yīng)新的模式（例如Codex對(duì)代碼生成的改編），并將模型與人類(lèi)偏好相結(jié)合（如《指南》所示）。 兩者都需要仔細(xì)考慮數(shù)據(jù)收集，模型體系結(jié)構(gòu)，目標(biāo)功能和評(píng)估指標(biāo)。

codex：代碼生成的微調(diào)

>該文章強(qiáng)調(diào)了傳統(tǒng)指標(biāo)（例如BLEU得分）的不足來(lái)評(píng)估代碼生成。 它引入了“功能正確性”和pass@k 公制，提供了更強(qiáng)大的評(píng)估方法。 還突出顯示了由單位測(cè)試組成手寫(xiě)編程問(wèn)題的人道數(shù)據(jù)集的創(chuàng)建。 討論了特定代碼的數(shù)據(jù)清潔策略，以及適應(yīng)代幣器以處理編程語(yǔ)言的獨(dú)特特征（例如Whitespace編碼）的重要性。 本文介紹了與HOMANEVAL的GPT-3相比，Codex表現(xiàn)出色的結(jié)果，并探討了模型大小和溫度對(duì)性能的影響。

> consendgpt and chatgpt：與人類(lèi)偏好對(duì)齊>

>本文將一致性定義為表現(xiàn)出樂(lè)于助人，誠(chéng)實(shí)和無(wú)害性的模型。 它解釋了如何將這些品質(zhì)轉(zhuǎn)化為可測(cè)量的方面，例如以下教學(xué)，幻覺(jué)率和偏見(jiàn)/毒性。 從人類(lèi)反饋（RLHF）中使用強(qiáng)化學(xué)習(xí)的使用是詳細(xì)的，概述了這三個(gè)階段：收集人類(lèi)反饋，培訓(xùn)獎(jiǎng)勵(lì)模型，并使用近端政策優(yōu)化（PPO）優(yōu)化政策。 文章強(qiáng)調(diào)了數(shù)據(jù)質(zhì)量控制在人類(lèi)反饋收集過(guò)程中的重要性。 結(jié)果展示了指令示威的改進(jìn)對(duì)齊，減少幻覺(jué)和緩解性能回歸的措施。

摘要和最佳實(shí)踐

>通過(guò)總結(jié)微調(diào)LLM的關(guān)鍵注意事項(xiàng)，包括定義所需的行為，評(píng)估績(jī)效，收集和清潔數(shù)據(jù)，調(diào)整模型體系結(jié)構(gòu)以及減輕潛在的負(fù)面后果。 它鼓勵(lì)仔細(xì)考慮過(guò)度參數(shù)調(diào)整，并強(qiáng)調(diào)微調(diào)過(guò)程的迭代性質(zhì)。

以上是了解chatgpt的演變：第3部分 - Codex和Consendgpt的見(jiàn)解的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！