>本文深入研究大型語言模型（LLMS）的實際方面，重點介紹了Codex和Constractgpt作為主要示例。 這是探索GPT模型的系列中的第三個，基於先前關於預訓練和縮放的討論。

>微調(diào)至關重要，因為雖然預訓練的LLM是用途廣泛，但它們通常不屬於針對特定任務的專業(yè)模型。 此外，即使像GPT-3這樣的強大模型也可能在復雜的說明中掙扎，並保持安全和道德標準。 這需要進行微調(diào)策略。

>本文重點介紹了兩個關鍵的微調(diào)挑戰(zhàn)：適應新的模式（例如Codex對代碼生成的改編），並將模型與人類偏好相結(jié)合（如《指南》所示）。 兩者都需要仔細考慮數(shù)據(jù)收集，模型體系結(jié)構，目標功能和評估指標。

codex：代碼生成的微調(diào)

>該文章強調(diào)了傳統(tǒng)指標（例如BLEU得分）的不足來評估代碼生成。 它引入了“功能正確性”和pass@k 公制，提供了更強大的評估方法。 還突出顯示了由單位測試組成手寫編程問題的人道數(shù)據(jù)集的創(chuàng)建。 討論了特定代碼的數(shù)據(jù)清潔策略，以及適應代幣器以處理編程語言的獨特特徵（例如Whitespace編碼）的重要性。 本文介紹了與HOMANEVAL的GPT-3相比，Codex表現(xiàn)出色的結(jié)果，並探討了模型大小和溫度對性能的影響。

> consendgpt and chatgpt：與人類偏好對齊>

>本文將一致性定義為表現(xiàn)出樂於助人，誠實和無害性的模型。 它解釋瞭如何將這些品質(zhì)轉(zhuǎn)化為可測量的方面，例如以下教學，幻覺率和偏見/毒性。 從人類反饋（RLHF）中使用強化學習的使用是詳細的，概述了這三個階段：收集人類反饋，培訓獎勵模型，並使用近端政策優(yōu)化（PPO）優(yōu)化政策。 文章強調(diào)了數(shù)據(jù)質(zhì)量控制在人類反饋收集過程中的重要性。 結(jié)果展示了指令示威的改進對齊，減少幻覺和緩解性能回歸的措施。

摘要和最佳實踐

>通過總結(jié)微調(diào)LLM的關鍵注意事項，包括定義所需的行為，評估績效，收集和清潔數(shù)據(jù)，調(diào)整模型體系結(jié)構以及減輕潛在的負面後果。 它鼓勵仔細考慮超參數(shù)調(diào)整，並強調(diào)微調(diào)過程的迭代性質(zhì)。

以上是了解chatgpt的演變：第3部分 - Codex和Consendgpt的見解的詳細內(nèi)容。更多資訊請關注PHP中文網(wǎng)其他相關文章！