Transformers 改變了人工智能，在 NLP、計(jì)算機(jī)視覺(jué)和多模式數(shù)據(jù)集成方面提供了無(wú)與倫比的性能。這些模型擅長(zhǎng)通過(guò)注意力機(jī)制識(shí)別數(shù)據(jù)中的模式，使其成為復(fù)雜任務(wù)的理想選擇。然而，由于傳統(tǒng)結(jié)構(gòu)的計(jì)算成本較高，變壓器模型的快速擴(kuò)展需要改進(jìn)。

Transformers 徹底改變了人工智能，在自然語(yǔ)言處理 (NLP)、計(jì)算機(jī)視覺(jué)和多模式數(shù)據(jù)集成方面提供了無(wú)與倫比的性能。這些模型擅長(zhǎng)通過(guò)注意力機(jī)制識(shí)別數(shù)據(jù)中的模式，使其成為復(fù)雜任務(wù)的理想選擇。然而，由于傳統(tǒng)結(jié)構(gòu)的計(jì)算成本較高，變壓器模型的快速擴(kuò)展需要改進(jìn)。隨著這些模型的增長(zhǎng)，它們需要大量的硬件資源和訓(xùn)練時(shí)間，并且隨著模型大小的增加呈指數(shù)級(jí)增長(zhǎng)。

縮放變壓器的主要障礙在于其線性投影層內(nèi)的固定參數(shù)。這種靜態(tài)結(jié)構(gòu)限制了模型在不完全重新訓(xùn)練的情況下擴(kuò)展的能力，隨著模型大小的增加，這種能力會(huì)呈指數(shù)級(jí)增長(zhǎng)。當(dāng)架構(gòu)發(fā)生修改時(shí)，例如增加通道尺寸，這些傳統(tǒng)模型通常需要全面的重新訓(xùn)練。

因此，這些擴(kuò)展的計(jì)算成本變得非常高，而且該方法缺乏靈活性。無(wú)法動(dòng)態(tài)添加新參數(shù)會(huì)抑制增長(zhǎng)，使這些模型不太適應(yīng)不斷發(fā)展的人工智能應(yīng)用程序，并且在時(shí)間和資源方面成本更高。

從歷史上看，管理模型可擴(kuò)展性的方法包括使用 Net2Net 等方法復(fù)制權(quán)重或重構(gòu)模型，其中復(fù)制神經(jīng)元擴(kuò)展層。然而，這些方法通常會(huì)破壞預(yù)訓(xùn)練模型的平衡，導(dǎo)致收斂速度變慢并增加訓(xùn)練復(fù)雜性。

雖然這些方法取得了漸進(jìn)的進(jìn)展，但它們?cè)跀U(kuò)展過(guò)程中保持模型完整性方面仍然面臨限制。 Transformer 嚴(yán)重依賴靜態(tài)線性投影，導(dǎo)致參數(shù)擴(kuò)展成本高昂且不靈活。 GPT 和其他大型 Transformer 等傳統(tǒng)模型經(jīng)常從頭開(kāi)始重新訓(xùn)練，每個(gè)新的擴(kuò)展階段都會(huì)產(chǎn)生高昂的計(jì)算成本。

現(xiàn)在，馬克斯普朗克研究所、谷歌和北京大學(xué)的研究人員開(kāi)發(fā)了一種名為 Tokenformer 的新架構(gòu)，通過(guò)將模型參數(shù)視為令牌，從根本上重新構(gòu)想了 Transformer，從而允許令牌和參數(shù)之間進(jìn)行動(dòng)態(tài)交互。

在這個(gè)框架中，Tokenformer 引入了一個(gè)稱為令牌參數(shù)注意（Pattention）層的新穎組件，它有助于增量擴(kuò)展。該模型可以添加新的參數(shù)標(biāo)記而無(wú)需重新訓(xùn)練，大大降低了訓(xùn)練成本。

通過(guò)在同一框架內(nèi)表示輸入令牌和參數(shù)，Tokenformer 可以靈活擴(kuò)展，為研究人員提供更高效、資源意識(shí)更強(qiáng)的模型架構(gòu)，同時(shí)保持可擴(kuò)展性和高性能。

Tokenformer 的 Pattention 層使用輸入 token 作為查詢，而模型參數(shù)作為鍵和值，這與標(biāo)準(zhǔn) Transformer 方法不同，僅依賴于線性投影。

模型的擴(kuò)展是通過(guò)添加新的鍵值參數(shù)對(duì)、保持輸入和輸出維度不變并避免完全重新訓(xùn)練來(lái)實(shí)現(xiàn)的。 Tokenformer 的架構(gòu)設(shè)計(jì)為模塊化，使研究人員能夠通過(guò)合并額外的代幣來(lái)無(wú)縫擴(kuò)展模型。

這種增量擴(kuò)展功能支持預(yù)訓(xùn)練權(quán)重的有效重用，同時(shí)能夠快速適應(yīng)新數(shù)據(jù)集或更大的模型大小，而不會(huì)破壞學(xué)習(xí)的信息。

Tokenformer 的性能優(yōu)勢(shì)非常顯著，因?yàn)樵撃Ｐ驮诒３譁?zhǔn)確性的同時(shí)顯著降低了計(jì)算成本。例如，Tokenformer 將參數(shù)從 1.24 億擴(kuò)展到 14 億，而訓(xùn)練成本僅為傳統(tǒng) Transformer 所需的一半。

在一項(xiàng)實(shí)驗(yàn)中，該模型針對(duì) 14 億個(gè)參數(shù)配置實(shí)現(xiàn)了 11.77 的測(cè)試?yán)Щ蠖?，幾乎與從頭開(kāi)始訓(xùn)練的類似大小的 Transformer 的 11.63 困惑度相匹配。

這種效率意味著 Tokenformer 可以在多個(gè)領(lǐng)域?qū)崿F(xiàn)高性能，包括語(yǔ)言和視覺(jué)建模任務(wù)，而資源支出只是傳統(tǒng)模型的一小部分。

Tokenformer 提出了許多關(guān)于推進(jìn)人工智能研究和改進(jìn)基于 Transformer 的模型的關(guān)鍵要點(diǎn)。其中包括：

將參數(shù)視為令牌可以實(shí)現(xiàn)增量模型擴(kuò)展，而無(wú)需重新訓(xùn)練。

令牌參數(shù)注意層有助于高效的參數(shù)擴(kuò)展。

模塊化架構(gòu)通過(guò)合并額外的代幣來(lái)支持無(wú)縫模型增長(zhǎng)。

該模型以最少的資源消耗在不同領(lǐng)域?qū)崿F(xiàn)了高性能。

總之，Tokenformer 提供了一種變革性方法來(lái)擴(kuò)展基于 Transformer 的模型。該模型架構(gòu)通過(guò)將參數(shù)視為令牌、降低成本并保持跨任務(wù)的模型性能來(lái)實(shí)現(xiàn)可擴(kuò)展性和資源效率。

這種靈活性代表了變壓器設(shè)計(jì)的突破，提供了一種無(wú)需重新訓(xùn)練即可適應(yīng)先進(jìn)人工智能應(yīng)用需求的模型。 Tokenformer 的架構(gòu)為未來(lái)的人工智能研究帶來(lái)了希望，提供了可持續(xù)、高效地開(kāi)發(fā)大規(guī)模模型的途徑。

查看 HuggingFace 上的論文、GitHub 頁(yè)面和模型。

這項(xiàng)研究的所有功勞都?xì)w功于該項(xiàng)目的研究人員。另外，不要忘記在 Twitter 上關(guān)注我們并加入我們的 Telegram 頻道和 LinkedIn 群組。如果您喜歡我們的工作，您一定會(huì)喜歡我們的時(shí)事通訊。不要忘記加入我們的 55k ML SubReddit。

[我們的贊助機(jī)會(huì)]與 100 萬(wàn)每月讀者和 50 萬(wàn)社區(qū)成員推廣您的研究/產(chǎn)品/網(wǎng)絡(luò)研討會(huì)

以上是Tokenformer：通過(guò)將參數(shù)視為令牌來(lái)重新思考 Transformer的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！