妇女性内射冈站hdwwwooo,99久久亚洲精品无码毛片

首頁(yè)

科技週邊

人工智慧

超越因果語(yǔ)言建模

PHPz

Feb 25, 2025 pm 06:28 PM

> Neurips 2024聚光燈：使用選擇性語(yǔ)言建模（SLM）

進(jìn)行優(yōu)化語(yǔ)言模型

>最近，我提出了一份來(lái)自2024年Neurips的引人入勝的論文，“並非所有的標(biāo)記都是您在當(dāng)?shù)亻喿x組中所需的。” 本文解決了一個(gè)令人驚訝的簡(jiǎn)單但有影響力的問(wèn)題：在訓(xùn)練語(yǔ)言模型期間，每個(gè)令牌是否需要下一步的預(yù)測(cè)？ >標(biāo)準(zhǔn)方法涉及大量的網(wǎng)絡(luò)綁帶數(shù)據(jù)集和普遍應(yīng)用因果語(yǔ)言建模（CLM）。本文提出了假設(shè)的挑戰(zhàn)，提出某些令牌阻礙了學(xué)習(xí)過(guò)程而不是幫助。作者表明，將培訓(xùn)集中在“有用”代幣上可以顯著提高數(shù)據(jù)效率和下游任務(wù)績(jī)效。這篇文章總結(jié)了他們的核心思想和關(guān)鍵的實(shí)驗(yàn)發(fā)現(xiàn)。

問(wèn)題：噪聲和效率低下的學(xué)習(xí)

> >大型網(wǎng)絡(luò)中心不可避免地包含噪音。雖然文檔級(jí)過(guò)濾有所幫助，但噪聲通常位於各個(gè)文檔中。這些嘈雜的令牌浪費(fèi)了計(jì)算資源，並可能使模型混淆。作者分析了令牌級(jí)學(xué)習(xí)動(dòng)力學(xué)，基於其跨滲透損失軌跡對(duì)令牌進(jìn)行分類：

l→l（低至低）：

迅速學(xué)習(xí)，提供最小的進(jìn)一步好處。

h→l（高到低）：最初很困難，但最終學(xué)會(huì)了；代表寶貴的學(xué)習(xí)機(jī)會(huì)。
h→h（高到高）：始終困難，通常是由於固有的不可預(yù)測(cè)性（良好的不確定性）。 >
l→H（低至高）：最初學(xué)會(huì)，但後來(lái)成為問(wèn)題，可能是由於上下文變化或噪聲。 他們的分析表明，只有一小部分代幣提供有意義的學(xué)習(xí)信號(hào)。
解決方案：選擇性語(yǔ)言建模（SLM）>

參考模型（RM）訓(xùn)練：數(shù)據(jù)的高質(zhì)量子集用於微調(diào)預(yù)訓(xùn)練的基本模型，創(chuàng)建參考模型（RM）。該RM充當(dāng)令牌“有用性”的基準(zhǔn)。

Beyond Causal Language Modeling 多餘的損失計(jì)算：

對(duì)於大型語(yǔ)料庫(kù)中的每個(gè)令牌，RM的損失與當(dāng)前訓(xùn)練模型的損失（“多餘損失”）之間的差異。較高的多餘損失表明改善的潛力更大。

> 選擇性反向傳播：在所有令牌上都執(zhí)行完整的正向通行證，但是僅對(duì)多餘損失最高的代幣的頂部 k％
進(jìn)行反向傳播。這動(dòng)態(tài)地將培訓(xùn)集中在最有價(jià)值的代幣上。

實(shí)驗(yàn)結(jié)果：顯著增長(zhǎng)

SLM在各種實(shí)驗(yàn)中都具有顯著優(yōu)勢(shì)：

Beyond Causal Language Modeling

與標(biāo)準(zhǔn)CLM相比，SLM在上，

數(shù)學(xué)域：

在上，SLM在GSM8K和數(shù)學(xué)基準(zhǔn)上的性能提高了10 ％，與標(biāo)準(zhǔn)CLM相比，達(dá)到基線績(jī)效的速度更快為5-10倍。 7B模型僅使用其培訓(xùn)令牌的3％匹配最先進(jìn)的模型。 1B型號(hào)的微調(diào)進(jìn)一步提高了40％以上的性能。

通用域：

即使使用了強(qiáng)大的預(yù)訓(xùn)練的基本模型，SLM在15個(gè)基準(zhǔn)方面的平均平均提高約為5.8％，尤其是在諸如代碼和數(shù)學(xué)之類的具有挑戰(zhàn)性的領(lǐng)域。

自我引用：

即使是來(lái)自RAW語(yǔ)料庫(kù)的快速訓(xùn)練的RM也提供了2-3％的準(zhǔn)確性提升，而使用的代幣降低了30-40％。

>結(jié)論和未來(lái)工作

>本文提供了有關(guān)令牌級(jí)學(xué)習(xí)動(dòng)態(tài)的寶貴見(jiàn)解，並引入了SLM，這是一種優(yōu)化語(yǔ)言模型預(yù)處理的高效技術(shù)。未來(lái)的研究方向包括將SLM擴(kuò)展到較大的模型，探索基於API的參考模型，使用多個(gè)參考模型整合增強(qiáng)學(xué)習(xí)，以及將SLM與安全性和真實(shí)性考慮對(duì)齊。這項(xiàng)工作代表了高效有效的語(yǔ)言模型培訓(xùn)方面的重大進(jìn)步。

以上是超越因果語(yǔ)言建模的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！

本網(wǎng)站聲明

本文內(nèi)容由網(wǎng)友自願(yuàn)投稿，版權(quán)歸原作者所有。本站不承擔(dān)相應(yīng)的法律責(zé)任。如發(fā)現(xiàn)涉嫌抄襲或侵權(quán)的內(nèi)容，請(qǐng)聯(lián)絡(luò)admin@php.cn