メモリ不足は、現(xiàn)在の主流の大規(guī)模言語モデルの主な問題點です。たとえば、ChatGPT は 4096 トークン (約 3000 単語) しか入力できません。チャット中に前に言ったことをよく忘れてしまいます。読むのに十分ではない、短編小説です。

入力ウィンドウが短いため、言語モデルの適用シナリオも制限されます。たとえば、科學(xué)論文 (約 10,000 ワード) を要約する場合、記事を手動で分割する必要があります。がモデルに入力されると、異なる章間の関連情報は失われます。

GPT-4 は最大 32,000 トークンをサポートし、アップグレードされた Claude は最大 100,000 トークンをサポートしますが、脳容量不足の問題を 緩和することしかできません。

最近、 起業(yè)家チーム Magic は、最大 5 をサポートできる LTM-1 モデル を間もなくリリースすると発表しました。 million token, これは約 500,000 行のコードまたは 5,000 個のファイルであり、クロードの 50 倍です?；镜膜摔郅趣螭嗓违攻去飑`ジ ニーズをカバーできます。これはまさに質(zhì)的変化につながる量的変化です。 LTM-1 の主なアプリケーション シナリオはコード補完です。たとえば、より長く複雑なコードの提案を生成できます。

複數(shù)のファイルにわたって情報を再利用したり、合成したりすることもできます。

悪いニュースは、LTM-1 の開発者である Magic が具體的な技術(shù)原則を公開せず、長期記憶ネットワークという全く新しい方法を設(shè)計したとだけ述べたことです。 （LTMネット）。

しかし、良いニュースもあります。2021 年 9 月に、DeepMind と他の機関の研究者は、かつて、長期記憶 (長期記憶 ( LTM) メカニズムにより、理論的には Transformer モデルに無限のメモリを持たせることができますが、この 2 つが同じテクノロジーなのか、それとも改良版なのかは明らかではありません。

# 論文リンク: https://arxiv.org/pdf/2109.00301.pdf

開発チームは、LTM Nets は GPT よりも多くのコンテキストを確認(rèn)できるものの、LTM-1 モデルのパラメーターの數(shù)は現(xiàn)在の sota モデルよりもはるかに少ないため、よりインテリジェントであると述べました。低いですが、モデル サイズを大きくし続けると、LTM ネットのパフォーマンスが向上するはずです。

現(xiàn)在、LTM-1 はアルファ テスト アプリケーションを公開しています。

アプリケーションリンク:

https://www.php. cn/link/bbfb937a66597d9646ad992009aee405LTM-1 開発者 Magic は 2022 年に設(shè)立されました。主に GitHub Copilot に似た製品を開発しており、ソフトウェア エンジニアの作成とレビューに役立ちます。 、コードのデバッグと変更の目標(biāo)は、モデルが長いコードを読み取れることが主な競爭上の利點であるプログラマーのための AI 同僚を作成することです。

Magic は公益に取り組んでおり、その使命は人間の能力を超える AGI システムを構(gòu)築し、安全に展開することです?，F(xiàn)在、従業(yè)員はわずか 10 名の新興企業(yè)です。

# 今年 2 月、マジックはアルファベットの子會社である CapitalG が主導(dǎo)するシリーズ A 資金調(diào)達で 2,300 萬米ドルを受け取りました。投資家には GitHub の元 CEO で Copilot の共同プロデューサーである Nat Friedman も含まれており、同社の資金総額は現(xiàn)在 2,800 萬米ドルに達しています。

Magic の CEO 兼共同創(chuàng)設(shè)者である Eric Steinberger は、ケンブリッジ大學(xué)を卒業(yè)してコンピューター サイエンスの學(xué)士號を取得し、FAIR で機械學(xué)習(xí)の研究を行ってきました。

スタインバーガーは、マジックを設(shè)立する前に、世界中の子供たちが気候変動の影響について學(xué)べるよう、クライメートサイエンスも設(shè)立しました。

無限メモリ トランスフォーマー

言語モデルのコア コンポーネントであるトランスフォーマーのアテンション メカニズムの設(shè)計により、長さが長くなるたびに時間計算量が増加します。入力シーケンスの増加 二次成長。

アルゴリズムの複雑さを軽減するために、スパース アテンションなど、アテンション メカニズムのいくつかの変形がすでに存在していますが、その複雑さは依然として入力長に関連しており、考慮することはできません。無限に広がる。

∞-前 長期記憶 (LTM) の鍵となる入力シーケンスを無限に拡張できる Transformer モデルは、表現(xiàn)の粒度を減らす連続空間注意フレームワークです 數(shù)値を増やしますメモリ情報単位（基底関數(shù)）の。

#フレームワークでは、入力シーケンスは、N 個の動徑基底関數(shù) ( RBF ) を表す「連続信號」として表されます。 )、このようにして、∞-former の注意の複雑さは O(L^2 L × N) に削減されますが、元の Transformer の注意の複雑さは O(Lx(L L_LTM)) です。ここで、L と L_LTM は対応します。それぞれ、Transformer の入力サイズと長期メモリの長さに応じて変化します。

#この表現(xiàn)方法には 2 つの主な利點があります:

#1. コンテキストは、基底関數(shù) N によって表現(xiàn)できます。トークンの數(shù)、減少 アテンションの計算コストが削減されます;

2. N を固定できるため、アテンション メカニズムの複雑さを増すことなく、メモリ內(nèi)で無制限のコンテキストを表すことができます。

もちろん、世界にはフリーランチは存在せず、その代償として解像度が低下します?；组v數(shù)の數(shù)が少ないと、入力シーケンスを連続信號として表すときに精度が低下する可能性があります。

解像度低下の問題を軽減するために、研究者は「スティッキー メモリ」の概念を?qū)毪筏蓼筏俊￥长欷?、LTM 信號內(nèi)のより大きなスペースを、より頻繁にアクセスされるメモリ領(lǐng)域に帰屬させるという概念を作成しました。これにより、モデルは関連情報を失うことなく、長期的な背景をより適切に捕捉できるようになります。また、脳の長期的な可能性と可塑性にも影響を受けています。

実験部分

∞-formerが長いコンテキストをモデル化できるかどうかを検証するために、研究者は最初に実験を行います。長いシーケンス內(nèi)の頻度によってトークンを並べ替える合成タスクが実行され、その後、事前にトレーニングされた言語モデルを微調(diào)整することによって、言語モデリングとドキュメントベースの対話生成に関する実験が実行されます。

#Sort

入力は、確率分布に従ってサンプリングされたトークンで構(gòu)成されます (システムには不明) シーケンスの場合、目標(biāo)はシーケンス內(nèi)の頻度の降順でトークンを生成することです

順番に長期記憶が効果的に利用されているかどうかを研究するため、Transformer は最新のタグをモデル化するだけでランキングが行われるかどうかを研究し、時間の経過とともに変化するタグの確率分布を設(shè)計しました。

語彙には 20 のトークンがあり、それぞれ 4,000、8,000、16,000 の長さのシーケンスで実験が行われました。Transformer-XL と圧縮トランスは比較のためのベースライン モデルとして使用されました。

#

実験結(jié)果から、シーケンス長が短い (4,000) 場合、Transformer-XL は他のモデルよりわずかに高い精度を?qū)g現(xiàn)しますが、シーケンス長が増加すると精度も急激に低下することがわかります。 ∞ 前者と比較して、この減少は明らかではありません。これは、長いシーケンスをモデル化する際に、より多くの利點があることを示しています。

言語モデリング

長期記憶を拡張に使用できるかどうかを理解する言語モデルについては、研究者らは約 2 億個のトークンを含む Wikitext103 と PG-19 のサブセット上で GPT-2 を微調(diào)整しました。

実験結(jié)果から、∞-former は Wikitext-103 と PG19 の混亂を軽減できることがわかります。 - 書籍はウィキペディアの記事よりも長期記憶に依存するため、前者によって得られる改善は PG19 データセットでより大きくなります。

#ドキュメントベースのダイアログ

ドキュメントベースのダイアログ生成では、「追加」を除きます。會話履歴に基づいて、モデルは會話のトピックに関するドキュメントを取得することもできます。

CMU Document Grounded Conversation データセット (CMU-DoG) では、會話は映畫についてであり、映畫の概要は補助ドキュメントとして提供されます。會話には以下の內(nèi)容が含まれていると考えられます。複數(shù)の異なる連続的な會話では、補助文書はいくつかの部分に分割されます。

長期記憶の有用性を評価するために、研究者らは、會話が始まる前にのみモデルにファイルへのアクセスを許可することで、タスクをより困難にしました。

GPT-2 を小さく微調(diào)整した後、モデルがドキュメント全體をメモリ內(nèi)に保持できるようにするために、N=512 基底関數(shù)を持つ連続 LTM (∞-former) は次のようになります。 GPT -2 を拡張するために使用されます。

モデルの効果を評価するには、パープレキシティ、F1 スコア、Rouge-1 および Rouge-L、および Meteor インジケーターを使用します。

結(jié)果から、∞-former と compressive Transformer の方がより良いコーパスを生成できますが、両者の程度は混同されています。基本的には同じですが、他の指標(biāo)では ∞-former の方が良いスコアを達成しています。

以上が500萬トークンモンスター、『ハリー?ポッター』全巻を一気読み！ ChatGPT の 1000 倍以上長いの詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。