介紹

大型語(yǔ)言模型（LLMS）促進(jìn)了自然語(yǔ)言處理（NLP）的進(jìn)步，但它們也提出了一些有關(guān)計(jì)算效率的重要問(wèn)題。這些模型已經(jīng)變得太大了，因此培訓(xùn)和推理成本不再在合理的限制范圍內(nèi)。

為了解決這個(gè)問(wèn)題，Hoffmann等人引入的龍貓縮放定律。 2022年，提供了一個(gè)開(kāi)創(chuàng)性的框架，以優(yōu)化LLM的培訓(xùn)。 Chinchilla縮放定律提供了一個(gè)必要的指南，可以通過(guò)在模型大小，培訓(xùn)數(shù)據(jù)和計(jì)算資源之間建立關(guān)系來(lái)有效地?cái)U(kuò)展LLM的情況而不損害績(jī)效。我們將在本文中詳細(xì)討論它。

概述

• Chinchilla縮放定律通過(guò)平衡模型大小和數(shù)據(jù)量來(lái)優(yōu)化LLM培訓(xùn)，以提高效率。
• 新的擴(kuò)展見(jiàn)解表明，在接受更多數(shù)據(jù)培訓(xùn)時(shí)，較小的語(yǔ)言模型可以勝過(guò)較大的語(yǔ)言模型。
• Chinchilla的方法通過(guò)將數(shù)據(jù)數(shù)量?jī)?yōu)先于模型尺寸來(lái)挑戰(zhàn)傳統(tǒng)的LLM縮放，以提高計(jì)算效率。
• Chinchilla縮放法為NLP提供了新的路線圖，從而指導(dǎo)了高性能，資源有效的模型的發(fā)展。
• Chinchilla縮放定律通過(guò)將模型大小和培訓(xùn)數(shù)據(jù)加倍，從而最大程度地提高語(yǔ)言模型性能，從而最大程度地縮寫計(jì)算成本。

目錄

• 什么是Chinchilla縮放法？
• 焦點(diǎn)轉(zhuǎn)變：從模型大小到數(shù)據(jù)
• 龍貓縮放定律的概述
• 龍貓縮放定律的主要發(fā)現(xiàn)
  • 計(jì)算最佳訓(xùn)練
  • 來(lái)自400多個(gè)模型的經(jīng)驗(yàn)證據(jù)
  • 修訂的估計(jì)和持續(xù)改進(jìn)
• 龍貓方法的好處
  • 提高性能
  • 降低計(jì)算成本
• 對(duì)未來(lái)研究和模型開(kāi)發(fā)的影響
• 挑戰(zhàn)和考慮因素
• 常見(jiàn)問(wèn)題

什么是Chinchilla縮放法？

該論文“培訓(xùn)譯文最佳的大語(yǔ)言模型”于2022年發(fā)表，重點(diǎn)是確定三個(gè)關(guān)鍵因素之間的關(guān)系：模型大小，代幣數(shù)量和計(jì)算預(yù)算。作者發(fā)現(xiàn)，現(xiàn)有的大型語(yǔ)言模型（LLMS）如GPT-3（175b參數(shù)），Gopher（280b）和Megatron（530b）的訓(xùn)練明顯不足。盡管這些模型的大小增加，但訓(xùn)練數(shù)據(jù)的數(shù)量在很大程度上保持恒定，從而導(dǎo)致了次優(yōu)的性能。作者提出，必須將模型大小和訓(xùn)練令牌的數(shù)量平均縮放，以進(jìn)行最佳訓(xùn)練。為了證明這一點(diǎn)，他們培訓(xùn)了大約400款型號(hào)，范圍從7,000萬(wàn)到160億多個(gè)參數(shù)不等，使用了5到5000億個(gè)令牌。

基于這些發(fā)現(xiàn)，作者訓(xùn)練了一種名為Chinchilla的新模型，該模型使用與Gopher（280B）相同的計(jì)算預(yù)算，但只有70B參數(shù)，而培訓(xùn)數(shù)據(jù)則多四倍。 Chinchilla的表現(xiàn)優(yōu)于幾個(gè)著名的LLM，包括Gopher（280b），GPT-3（175b），Jurassic-1（178b）和Megatron（530b）。這一結(jié)果與OpenAI在“ LLMS縮放定律”中提出的縮放定律相矛盾，這表明較大的模型總是會(huì)更好。 Chinchilla縮放定律表明，經(jīng)過(guò)更多數(shù)據(jù)培訓(xùn)時(shí)，較小的模型可以實(shí)現(xiàn)出色的性能。這種方法還使較小的模型更易于微調(diào)和減少推理潛伏期。

該圖顯示，盡管較小，但Chinchilla（70b）遵循不同的計(jì)算與參數(shù)比率，并且超過(guò)了Gopher和GPT-3等較大的模型。

其他方法（1、2和3）探索了基于計(jì)算分配優(yōu)化模型性能的不同方法。

從這個(gè)數(shù)字中，我們可以看到Chinchilla的優(yōu)勢(shì)，即使Chinchilla的尺寸較小（70B參數(shù)），它也接受了更大的數(shù)據(jù)集（1.4萬(wàn)億代碼）的培訓(xùn)，該數(shù)據(jù)遵循了Chinchilla縮放法律中介紹的原則，如果他們?cè)诟蟮哪Ｐ蜕吓嘤?xùn)了更大的模型。參數(shù)但接受了相對(duì)較少的令牌培訓(xùn)，這表明這些模型可能沒(méi)有完全優(yōu)化其計(jì)算潛力。

焦點(diǎn)轉(zhuǎn)變：從模型大小到數(shù)據(jù)

從歷史上看，提高LLM性能的重點(diǎn)一直在增加模型大小上，如GPT-3和Gopher等模型所示。這是由Kaplan等人的研究驅(qū)動(dòng)的。 （2020），它提出了模型大小和性能之間的冪律關(guān)系。但是，隨著模型的增長(zhǎng)，訓(xùn)練數(shù)據(jù)的數(shù)量并未相應(yīng)地?cái)U(kuò)展，從而導(dǎo)致計(jì)算潛力不足。 Chinchilla縮放法律通過(guò)表明資源的分配更加平衡，尤其是在數(shù)據(jù)和模型大小方面，可以導(dǎo)致表現(xiàn)更好的模型，這些模型在不達(dá)到最低可能的損失的情況下會(huì)導(dǎo)致更佳的計(jì)算模型。

龍貓縮放定律的概述

模型大小，訓(xùn)練令牌和計(jì)算成本之間的權(quán)衡是龍貓縮放定律的核心。該法律在這三個(gè)參數(shù)之間建立了最佳的平衡：

• 模型大小（N） ：模型中的參數(shù)數(shù)量。
• 訓(xùn)練令牌（D） ：訓(xùn)練過(guò)程中使用的令牌總數(shù)。
• 計(jì)算成本（c） ：分配用于培訓(xùn)的總計(jì)算資源，通常以拖臺(tái)（每秒的浮點(diǎn)操作）進(jìn)行測(cè)量。

Chinchilla縮放定律表明，為了獲得最佳性能，模型大小和訓(xùn)練數(shù)據(jù)的數(shù)量都應(yīng)以相等的速度擴(kuò)展。具體而言，訓(xùn)練令牌的數(shù)量也應(yīng)為每次加倍模型大小加倍。這種方法對(duì)比了早期的方法，該方法強(qiáng)調(diào)增加模型大小而沒(méi)有足夠增加訓(xùn)練數(shù)據(jù)。

這種關(guān)系在數(shù)學(xué)上表示為：

在哪里：

• L是模特的最終損失。
• L_0是不可約的損失，代表了最佳性能。
• 與理想的生成過(guò)程相比， A和B是捕獲模型表現(xiàn)不佳的常數(shù)。
• α和β是描述損失對(duì)模型大小和數(shù)據(jù)大小的尺度的指數(shù)。

龍貓縮放定律的主要發(fā)現(xiàn)

以下是龍貓鱗片定律的主要發(fā)現(xiàn)：

計(jì)算最佳訓(xùn)練

龍貓縮放定律突出顯示了模型大小和訓(xùn)練數(shù)據(jù)量之間的最佳平衡。具體而言，研究發(fā)現(xiàn)，每個(gè)模型參數(shù)的20個(gè)訓(xùn)練令牌的大約比率非常適合通過(guò)給定的計(jì)算預(yù)算實(shí)現(xiàn)最佳性能。例如，具有700億參數(shù)的龍貓模型接受了1.4萬(wàn)億代幣的訓(xùn)練，比Gopher多四倍，但參數(shù)卻少得多。這種平衡導(dǎo)致模型在幾個(gè)基準(zhǔn)上的表現(xiàn)明顯優(yōu)于較大的模型。

來(lái)自400多個(gè)模型的經(jīng)驗(yàn)證據(jù)

為了得出龍貓縮放定律，Hoffmann等人。培訓(xùn)了400多個(gè)變壓器型號(hào)，大小從7,000萬(wàn)到160億個(gè)參數(shù)不等，在多達(dá)5000億個(gè)代幣的數(shù)據(jù)集上。經(jīng)驗(yàn)證據(jù)強(qiáng)烈支持以下假設(shè)：經(jīng)過(guò)更多數(shù)據(jù)（以固定的計(jì)算預(yù)算）訓(xùn)練的模型比單獨(dú)增加模型大小要好。

修訂的估計(jì)和持續(xù)改進(jìn)

隨后的研究試圖完善Hoffmann等人的初始發(fā)現(xiàn)，從而確定參數(shù)估計(jì)值的可能調(diào)整。一些研究提出了原始結(jié)果中的較小不一致，并提出了修訂的估計(jì)值，以更好地適合觀察到的數(shù)據(jù)。這些調(diào)整表明需要進(jìn)一步的研究以了解模型縮放的動(dòng)態(tài)，但是《龍貓縮放定律》的核心見(jiàn)解仍然是寶貴的指南。

龍貓方法的好處

這是龍貓方法的好處：

提高性能

Chinchilla的模型大小和訓(xùn)練數(shù)據(jù)相等的縮放得出了顯著的結(jié)果。盡管比許多其他大型模型都小，但在各種基準(zhǔn)上，Chinchilla的表現(xiàn)都優(yōu)于GPT-3，Gopher，甚至大量的超源性NLG模型（5300億個(gè)參數(shù)）。例如，在大量的多任務(wù)語(yǔ)言理解（MMLU）基準(zhǔn)上，奇奇拉的平均準(zhǔn)確性為67.5％，比Gopher的60％顯著提高。

降低計(jì)算成本

Chinchilla方法優(yōu)化了性能，并降低了訓(xùn)練和推理的計(jì)算和能源成本。諸如GPT-3和Gopher之類的培訓(xùn)模型需要巨大的計(jì)算資源，使它們?cè)诂F(xiàn)實(shí)世界中的應(yīng)用非常昂貴。相比之下，Chinchilla的型號(hào)較小和更廣泛的培訓(xùn)數(shù)據(jù)導(dǎo)致對(duì)微調(diào)和推理的計(jì)算要求較低，從而使其在下游應(yīng)用程序中更容易訪問(wèn)。

對(duì)未來(lái)研究和模型開(kāi)發(fā)的影響

《龍貓縮放法》為L(zhǎng)LM開(kāi)發(fā)的未來(lái)提供了寶貴的見(jiàn)解。關(guān)鍵含義包括：

• 指導(dǎo)模型設(shè)計(jì)：了解如何平衡模型大小和培訓(xùn)數(shù)據(jù)，使研究人員和開(kāi)發(fā)人員在設(shè)計(jì)新模型時(shí)可以做出更明智的決策。通過(guò)遵守《龍貓縮放定律》中概述的原則，開(kāi)發(fā)人員可以確保其模型既計(jì)算效率高且表現(xiàn)高。
• 指導(dǎo)模型設(shè)計(jì)：有關(guān)優(yōu)化音量的知識(shí)，因此培訓(xùn)數(shù)據(jù)為模型的研究和設(shè)計(jì)提供了信息。在此指南量表中，他們的想法的發(fā)展將在高效率的廣泛定義中運(yùn)作，而不會(huì)過(guò)多地消費(fèi)計(jì)算機(jī)資源。
• 性能優(yōu)化：龍貓縮放定律提供了優(yōu)化LLM的路線圖。通過(guò)專注于相等的規(guī)模，開(kāi)發(fā)人員可以避免訓(xùn)練不足的大型模型的陷阱，并確保對(duì)訓(xùn)練和推理任務(wù)進(jìn)行優(yōu)化模型。
• 丹丘（Chinchilla）以外的探索：隨著研究的繼續(xù)，新的策略正在發(fā)展，以擴(kuò)大龍貓縮放法的思想。例如，一些研究人員正在研究以更少的計(jì)算資源來(lái)達(dá)到相似性能水平的方法，或者進(jìn)一步增強(qiáng)數(shù)據(jù)約束環(huán)境中的模型性能。這些探索可能會(huì)導(dǎo)致更有效的培訓(xùn)管道。

挑戰(zhàn)和考慮因素

盡管《龍貓縮放法》標(biāo)志著了解LLM擴(kuò)展的重要一步，但它也提出了新的問(wèn)題和挑戰(zhàn)：

• 數(shù)據(jù)收集：就像龍貓一樣，訓(xùn)練1.4萬(wàn)億代幣的模型意味著許多高質(zhì)量數(shù)據(jù)集的可用性。但是，這樣的數(shù)據(jù)收集和處理規(guī)模為研究人員和開(kāi)發(fā)人員以及倫理問(wèn)題（例如隱私和偏見(jiàn)）提出了組織問(wèn)題。
• 偏見(jiàn)和毒性：但是，使用龍貓縮放定律訓(xùn)練的模型的定期偏差和毒性比例降低比所有這些效率低下問(wèn)題更容易，更有效。隨著LLM的權(quán)力和覆蓋范圍的增長(zhǎng)，確保公平和減輕有害產(chǎn)出將是未來(lái)研究的關(guān)鍵領(lǐng)域。

結(jié)論

龍貓的縮放定律代表了我們對(duì)優(yōu)化大型語(yǔ)言模型培訓(xùn)的理解的關(guān)鍵進(jìn)步。通過(guò)在模型大小，培訓(xùn)數(shù)據(jù)和計(jì)算成本之間建立明確的關(guān)系，該法律為有效擴(kuò)展LLM的計(jì)算最佳框架提供了最佳的框架。 Chinchilla模型的成功證明了這種方法在績(jī)效和資源效率方面的實(shí)際好處。

隨著該領(lǐng)域的研究繼續(xù)，龍貓縮放法的原理可能會(huì)影響LLM開(kāi)發(fā)的未來(lái)，從而指導(dǎo)模型的設(shè)計(jì)，這些模型在維持可持續(xù)性和可及性的同時(shí)，推動(dòng)了自然語(yǔ)言處理的邊界。

另外，如果您正在在線尋找生成AI課程，請(qǐng)?zhí)剿鳎篏enai Pinnacle程序！

常見(jiàn)問(wèn)題

Ans。 Chinchilla縮放定律是一個(gè)經(jīng)驗(yàn)框架，描述了語(yǔ)言模型的大?。▍?shù)數(shù)），培訓(xùn)數(shù)據(jù)的量（令牌）和培訓(xùn)所需的計(jì)算資源之間的最佳關(guān)系。它旨在最大程度地減少培訓(xùn)計(jì)算，同時(shí)最大程度地提高模型性能。

Ans。關(guān)鍵參數(shù)包括：
1。N：模型中的參數(shù)數(shù)。
2。D：培訓(xùn)令牌的數(shù)量。
3。C：拖船中的總計(jì)算成本。
4。L：模型在測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)的平均損失。
5。A和B：與理想生成過(guò)程相比，反映表現(xiàn)不佳的常數(shù)。
6。α和β：指數(shù)分別描述損失量表的模型和數(shù)據(jù)大小。

Ans。該法律表明，模型大小和訓(xùn)練令牌應(yīng)以相等的速度擴(kuò)展以達(dá)到最佳性能。具體而言，對(duì)于型號(hào)尺寸的每次加倍，訓(xùn)練令牌的數(shù)量也應(yīng)加倍，通常旨在每個(gè)參數(shù)的比例約為20個(gè)令牌。

Ans。最近的研究表明，Hoffmann等人的原始估計(jì)值可能存在潛在的問(wèn)題，包括報(bào)告的數(shù)據(jù)和過(guò)度置信區(qū)間的不一致。一些研究人員認(rèn)為，擴(kuò)展法可能過(guò)于簡(jiǎn)單，并且在模型培訓(xùn)中沒(méi)有考慮各種實(shí)際考慮。

Ans。 《龍貓縮放法》的發(fā)現(xiàn)為包括Google的Gemini Suite在內(nèi)的幾個(gè)著名模型的設(shè)計(jì)和培訓(xùn)過(guò)程提供了信息。它還促使人們討論了“超越龍貓”策略的討論，研究人員根據(jù)原始縮放法探索了大于最佳的培訓(xùn)模型。

以上是什么是龍貓縮放定律？的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！