トランスフォーマーは人工知能を変革し、NLP、コンピューター ビジョン、マルチモーダル データ統(tǒng)合において比類のないパフォーマンスを提供します。これらのモデルは、注意メカニズムを通じてデータ?jī)?nèi)のパターンを識(shí)別することに優(yōu)れており、複雑なタスクに最適です。ただし、従來の構(gòu)造に伴う計(jì)算コストが高いため、変圧器モデルの迅速なスケーリングを改善する必要があります。

トランスフォーマーは人工知能に革命をもたらし、自然言語処理 (NLP)、コンピューター ビジョン、マルチモーダル データ統(tǒng)合において比類のないパフォーマンスを提供します。これらのモデルは、注意メカニズムを通じてデータ?jī)?nèi)のパターンを識(shí)別することに優(yōu)れており、複雑なタスクに最適です。ただし、従來の構(gòu)造に伴う計(jì)算コストが高いため、変圧器モデルの迅速なスケーリングを改善する必要があります。これらのモデルが成長(zhǎng)するにつれて、大量のハードウェア リソースとトレーニング時(shí)間が必要になり、モデルのサイズが大きくなるにつれて指數(shù)関數(shù)的に増加します。

トランスフォーマーのスケーリングにおける主な障害は、線形投影レイヤー內(nèi)の固定パラメーターにあります。この靜的な構(gòu)造により、完全に再トレーニングせずに拡張するモデルの能力が制限され、モデルのサイズが大きくなるにつれてコストが急激に増加します。これらの従來のモデルは通常、チャネル寸法の増加など、アーキテクチャの変更が発生した場(chǎng)合に包括的な再トレーニングを必要とします。

その結(jié)果、これらの拡張の計(jì)算コストは??非現(xiàn)実的なほど高くなり、このアプローチには柔軟性が欠けています。新しいパラメーターを動(dòng)的に追加できないため、成長(zhǎng)が阻害され、これらのモデルは進(jìn)化する AI アプリケーションへの適応性が低くなり、時(shí)間とリソースの面でよりコストがかかります。

歴史的に、モデルのスケーラビリティを管理するアプローチには、重みを複製したり、ニューロンを複製して層を拡張する Net2Net などの方法を使用してモデルを再構(gòu)築したりすることが含まれていました。ただし、これらのアプローチでは、事前トレーニングされたモデルのバランスが崩れることが多く、その結(jié)果、収束速度が遅くなり、トレーニングがさらに複雑になります。

これらの手法は段階的に進(jìn)歩していますが、スケーリング中にモデルの整合性を維持するには依然として限界があります。トランスフォーマーは靜的な線形投影に大きく依存しているため、パラメーターの拡張は高価で柔軟性がありません。 GPT やその他の大規(guī)模なトランスフォーマーのような従來のモデルは、多くの場(chǎng)合、最初から再トレーニングされるため、新しいスケーリング段階ごとに高い計(jì)算コストが発生します。

マックス プランク研究所、Google、北京大學(xué)の研究者らは、モデル パラメーターをトークンとして扱うことでトランスフォーマーを根本的に再考し、トークンとパラメーター間の動(dòng)的な相互作用を可能にする、Tokenformer と呼ばれる新しいアーキテクチャを開発しました。

このフレームワークでは、Tokenformer はトークンパラメーター アテンション (パテンション) レイヤーと呼ばれる新しいコンポーネントを?qū)毪?、増分スケーリングを容易にします。モデルは再トレーニングせずに新しいパラメーター トークンを追加できるため、トレーニング コストが大幅に削減されます。

Tokenformer は、同じフレームワーク內(nèi)で入力トークンとパラメーターを表すことにより、柔軟なスケーリングを可能にし、スケーラビリティと高いパフォーマンスを維持する、より効率的でリソースを意識(shí)したモデル アーキテクチャを研究者に提供します。

Tokenformer の Pattention レイヤーは入力トークンをクエリとして使用し、モデル パラメーターはキーと値として機(jī)能します。これは、線形射影のみに依存する標(biāo)準(zhǔn)のトランスフォーマー アプローチとは異なります。

モデルのスケーリングは、新しいキーと値のパラメーターのペアを追加し、入力と出力の次元を一定に保ち、完全な再トレーニングを回避することによって実現(xiàn)されます。 Tokenformer のアーキテクチャはモジュール式に設(shè)計(jì)されており、研究者は追加のトークンを組み込むことでモデルをシームレスに拡張できます。

このインクリメンタル スケーリング機(jī)能は、學(xué)習(xí)済みの情報(bào)を中斷することなく、新しいデータセットやより大きなモデル サイズに迅速に適応できると同時(shí)に、事前トレーニングされた重みの効率的な再利用をサポートします。

Tokenformer モデルは精度を維持しながら計(jì)算コストを大幅に削減するため、パフォーマンス上の利點(diǎn)は注目に値します。たとえば、Tokenformer は、従來のトランスフォーマーが必要とする一般的なトレーニング費(fèi)用の半分のみで、パラメータ數(shù)を 1 億 2,400 萬から 14 億に拡張しました。

ある実験では、モデルは 14 億のパラメーター構(gòu)成に対して 11.77 のテスト複雑度を達(dá)成しました。これは、ゼロからトレーニングした同様のサイズの変換器の 11.63 の複雑度にほぼ一致します。

この効率性は、Tokenformer が従來のモデルの數(shù)分の 1 のリソース消費(fèi)量で、言語やビジュアル モデリング タスクを含む複數(shù)のドメインにわたって高いパフォーマンスを達(dá)成できることを意味します。

Tokenformer は、AI 研究を推進(jìn)し、トランスフォーマーベースのモデルを改善するための重要なポイントを多數(shù)提供します。これらには以下が含まれます:

パラメータをトークンとして扱うことで、再トレーニングせずに増分モデルのスケーリングが可能になります。

トークンパラメーター アテンション レイヤーにより、効率的なパラメーター拡張が容易になります。

モジュラー アーキテクチャは、追加のトークンを組み込むことでシームレスなモデルの拡張をサポートします。

このモデルは、リソースの消費(fèi)を最小限に抑えながら、さまざまなドメインにわたって高いパフォーマンスを?qū)g現(xiàn)します。

結(jié)論として、Tokenformer は、トランスフォーマーベースのモデルをスケーリングする革新的なアプローチを提供します。このモデル アーキテクチャは、パラメーターをトークンとして扱い、コストを削減し、タスク間でモデルのパフォーマンスを維持することにより、スケーラビリティとリソース効率を?qū)g現(xiàn)します。

この柔軟性は変圧器設(shè)計(jì)における畫期的な進(jìn)歩であり、再トレーニングすることなく高度な AI アプリケーションの要求に適応できるモデルを提供します。 Tokenformer のアーキテクチャは將來の AI 研究に有望であり、大規(guī)模なモデルを持続的かつ効率的に開発する道を提供します。

HuggingFace の論文、GitHub ページ、モデルをチェックしてください。

この研究の功績(jī)はすべて、このプロジェクトの研究者に與えられます。また、Twitter で私たちをフォローし、Telegram チャンネルと LinkedIn グループに參加することも忘れないでください。私たちの仕事が気に入ったら、ニュースレターも気に入っていただけるでしょう。 55,000 ML SubReddit に忘れずに參加してください。

[私たちとのスポンサーシップの機(jī)會(huì)] 毎月 100 萬人の読者と 50 萬人のコミュニティ メンバーとともにあなたの研究/製品/ウェビナーを宣伝しましょう

以上がTokenformer: パラメーターをトークンとして扱うことでトランスフォーマーを再考するの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。