>本文深入研究大型語言模型（LLMS）的實際方面，重點介紹了Codex和Constractgpt作為主要示例。 這是探索GPT模型的系列中的第三個，基于先前關于預訓練和縮放的討論。

>微調至關重要，因為雖然預訓練的LLM是用途廣泛，但它們通常不屬于針對特定任務的專業(yè)模型。 此外，即使像GPT-3這樣的強大模型也可能在復雜的說明中掙扎，并保持安全和道德標準。 這需要進行微調策略。

>本文重點介紹了兩個關鍵的微調挑戰(zhàn)：適應新的模式（例如Codex對代碼生成的改編），并將模型與人類偏好相結合（如《指南》所示）。 兩者都需要仔細考慮數(shù)據(jù)收集，模型體系結構，目標功能和評估指標。

codex：代碼生成的微調

>該文章強調了傳統(tǒng)指標（例如BLEU得分）的不足來評估代碼生成。 它引入了“功能正確性”和pass@k 公制，提供了更強大的評估方法。 還突出顯示了由單位測試組成手寫編程問題的人道數(shù)據(jù)集的創(chuàng)建。 討論了特定代碼的數(shù)據(jù)清潔策略，以及適應代幣器以處理編程語言的獨特特征（例如Whitespace編碼）的重要性。 本文介紹了與HOMANEVAL的GPT-3相比，Codex表現(xiàn)出色的結果，并探討了模型大小和溫度對性能的影響。

> consendgpt and chatgpt：與人類偏好對齊>

>本文將一致性定義為表現(xiàn)出樂于助人，誠實和無害性的模型。 它解釋了如何將這些品質轉化為可測量的方面，例如以下教學，幻覺率和偏見/毒性。 從人類反饋（RLHF）中使用強化學習的使用是詳細的，概述了這三個階段：收集人類反饋，培訓獎勵模型，并使用近端政策優(yōu)化（PPO）優(yōu)化政策。 文章強調了數(shù)據(jù)質量控制在人類反饋收集過程中的重要性。 結果展示了指令示威的改進對齊，減少幻覺和緩解性能回歸的措施。

摘要和最佳實踐

>通過總結微調LLM的關鍵注意事項，包括定義所需的行為，評估績效，收集和清潔數(shù)據(jù)，調整模型體系結構以及減輕潛在的負面后果。 它鼓勵仔細考慮過度參數(shù)調整，并強調微調過程的迭代性質。

以上是了解chatgpt的演變：第3部分 - Codex和Consendgpt的見解的詳細內容。更多信息請關注PHP中文網(wǎng)其他相關文章！