Schlechtes Ged?chtnis ist das Hauptproblem aktueller Mainstream-Sprachmodelle. ChatGPT kann beispielsweise nur 4096 Token (ungef?hr 3000 W?rter) eingeben, und das reicht nicht einmal aus Lesen Sie eine Kurzgeschichte von.

Das kurze Eingabefenster schr?nkt auch die Anwendungsszenarien des Sprachmodells ein. Wenn Sie beispielsweise eine wissenschaftliche Arbeit (ca. 10.000 W?rter) zusammenfassen, müssen Sie den Artikel manuell segmentieren und ihn dann in verschiedene Kapitel in das Modell eingeben. Die zugeh?rigen Informationen gehen verloren.

Obwohl GPT-4 bis zu 32.000 Token unterstützt und der aktualisierte Claude bis zu 100.000 Token unterstützt, k?nnen sie das Problem der unzureichenden Gehirnkapazit?t nur lindern.

Kürzlich gab das Unternehmerteam Magic bekannt, dass es bald das LTM-1-Modell herausbringen wird, das bis zu 5 Millionen Token unterstützt, was etwa 500.000 Codezeilen oder 5000 Dateien entspricht, also 50 Mal h?her als Claude. Es ist im Grunde in Ordnung. Es deckt die meisten Speicheranforderungen ab, das macht wirklich einen Unterschied in Quantit?t und Qualit?t!

Das Hauptanwendungsszenario von LTM-1 ist die Codevervollst?ndigung, mit der beispielsweise l?ngere und komplexere Codevorschl?ge generiert werden k?nnen.

Sie k?nnen Informationen auch über mehrere Dateien hinweg wiederverwenden und synthetisieren.

Die schlechte Nachricht ist, dass Magic, der Entwickler von LTM-1, die spezifischen technischen Prinzipien nicht ver?ffentlicht hat, sondern nur gesagt hat, dass es eine brandneue Methode entwickelt hat, das Long-Term Memory Network (LTM Net).

Aber es gibt auch gute Nachrichten: Im September 2021 haben Forscher von DeepMind und anderen Institutionen ein Modell namens ∞-former vorgeschlagen, das einen Langzeitged?chtnismechanismus (LTM) enth?lt. Die Theorie kann das Transformer-Modell unendlich machen Speicher, aber es ist nicht klar, ob es sich bei beiden um die gleiche Technologie oder eine verbesserte Version handelt.

Link zum Papier: https://arxiv.org/pdf/2109.00301.pdf

Das Entwicklungsteam gab an, dass LTM-Netze zwar mehr Kontext sehen k?nnen als GPT, LTM-Netzwerke jedoch mehr Kontext sehen k?nnen als GPT Die Parameter des -1-Modells sind viel kleiner als die des aktuellen Sota-Modells, daher ist auch der Intelligenzgrad geringer. Eine weitere Vergr??erung der Modellgr??e dürfte jedoch die Leistung von LTM-Netzen verbessern.

Derzeit hat LTM-1 Alpha-Testanwendungen ge?ffnet.

Anwendungslink: http://m.miracleart.cn/link/bbfb937a66597d9646ad992009aee405

LTM-1-Entwickler Magic wurde 2022 gegründet und entwickelt haupts?chlich ?hnliche GitHub Copilot’s Das Produkt kann Softwareentwicklern beim Schreiben, überprüfen, Debuggen und ?ndern von Code helfen. Das Ziel besteht darin, einen KI-Kollegen für Programmierer zu schaffen. Sein Hauptwettbewerbsvorteil besteht darin, dass das Modell l?ngeren Code lesen kann.

Magic ist dem Gemeinwohl verpflichtet und seine Mission besteht darin, AGI-Systeme zu entwickeln und sicher einzusetzen, die die menschlichen F?higkeiten übertreffen. Derzeit ist das Unternehmen ein Startup-Unternehmen mit nur 10 Mitarbeitern.

Im Februar dieses Jahres erhielt Magic eine Serie-A-Finanzierung unter der Leitung von CapitalG, einer Tochtergesellschaft von Alphabet. Zu den Investoren geh?rt auch der ehemalige GitHub-CEO und Copilot-Co-Produzent Nat Friedman, der derzeit der Eigentümer des Unternehmens ist Pr?sident. Die H?he der Mittel hat 28 Millionen US-Dollar erreicht.

Eric Steinberger, CEO und Mitbegründer von Magic, hat einen Bachelor-Abschluss in Informatik von der Universit?t Cambridge und hat bei FAIR maschinelles Lernen geforscht.

Vor der Gründung von Magic gründete Steinberger auch ClimateScience, um Kindern auf der ganzen Welt dabei zu helfen, etwas über die Auswirkungen des Klimawandels zu lernen.

Infinite Memory Transformer

Das Design des Aufmerksamkeitsmechanismus im Transformer, der Kernkomponente des Sprachmodells, führt dazu, dass die Zeitkomplexit?t jedes Mal quadratisch zunimmt, wenn die L?nge der Eingabesequenz erh?ht wird.

Obwohl es bereits einige Varianten des Aufmerksamkeitsmechanismus gibt, wie z. B. sp?rliche Aufmerksamkeit usw., um die Komplexit?t des Algorithmus zu reduzieren, h?ngt seine Komplexit?t immer noch von der Eingabel?nge ab und kann nicht unendlich erweitert werden.

∞-former Der Schlüssel zum Transformer-Modell des Langzeitged?chtnisses (LTM), das die Eingabesequenz auf unbegrenzt erweitern kann, ist ein kontinuierliches r?umliches Aufmerksamkeitsgerüst, das die Anzahl der Ged?chtnisinformationseinheiten (basierend auf der Funktion) erh?ht.

Im Framework wird die Eingabesequenz als ?kontinuierliches Signal“ dargestellt, das eine lineare Kombination von N radialen Basisfunktionen (RBF) darstellt. Auf diese Weise betr?gt die Aufmerksamkeitskomplexit?t von ∞-former Es wird auf O(L^2 + L × N) reduziert, w?hrend die Aufmerksamkeitskomplexit?t des ursprünglichen Transformers O(L×(L+L_LTM)) betr?gt, wobei L und L_LTM der Transformer-Eingabegr??e und dem Langzeitged?chtnis entsprechen L?nge bzw.

Diese Darstellungsmethode hat zwei Hauptvorteile:

1 Der Kontext kann durch eine Basisfunktion N dargestellt werden, die kleiner ist als die Anzahl der Token, was den Rechenaufwand für die Aufmerksamkeit reduziert;

2 kann festgelegt werden und ist somit in der Lage, einen unbegrenzten Kontext im Ged?chtnis darzustellen, ohne die Komplexit?t des Aufmerksamkeitsmechanismus zu erh?hen.

Natürlich gibt es kein kostenloses Mittagessen auf der Welt, und der Preis ist die Verringerung der Aufl?sung: Die Verwendung einer geringeren Anzahl von Basisfunktionen führt zu einer Verringerung der Genauigkeit bei der Darstellung der Eingabesequenz als ein Dauersignal.

Um das Problem der Aufl?sungsreduzierung zu lindern, führten Forscher das Konzept der ?Sticky Memories“ ein, das den gr??eren Platz im LTM-Signal auf h?ufiger aufgerufene Speicherbereiche zurückführte und so ein ?Sticky Memory“ im LTM schuf Das Konzept der ?Permanenz“ erm?glicht es dem Modell, den langfristigen Kontext besser zu erfassen, ohne relevante Informationen zu verlieren, und ist au?erdem vom langfristigen Potenzial und der Plastizit?t des Gehirns inspiriert.

Experimenteller Teil

Um zu überprüfen, ob ∞-former lange Kontexte modellieren kann, führten die Forscher zun?chst Experimente zu einer synthetischen Aufgabe durch, d. h. zum Sortieren von Token nach H?ufigkeit in einer langen Sequenz mit Sprachmodellierung und dokumentbasierter Dialoggenerierung durch Feinabstimmung vorab trainierter Sprachmodelle.

Sortierung

Die Eingabe umfasst eine Sequenz von Token, die gem?? einer Wahrscheinlichkeitsverteilung (dem System unbekannt) abgetastet werden, und das Ziel besteht darin, Token in der Reihenfolge abnehmender H?ufigkeit in der Sequenz zu generieren

Um langfristig zu untersuchen, ob der Speicher effizient genutzt wird und ob der Transformer einfach durch Modellierung der neuesten Tags sortiert, haben die Forscher die Tag-Wahrscheinlichkeitsverteilung so entworfen, dass sie sich im Laufe der Zeit ?ndert.

Es gibt 20 Token im Vokabular, und zum Vergleich werden Experimente mit Sequenzen der L?ngen 4.000, 8.000 und 16.000 durchgeführt.

Die experimentellen Ergebnisse zeigen, dass Transformer-XL bei einer kurzen Sequenzl?nge (4.000) eine etwas h?here Genauigkeit als andere Modelle erreicht. Mit zunehmender Sequenzl?nge nimmt die Genauigkeit jedoch ebenfalls schnell ab, jedoch für ∞-former For Dieser Rückgang ist nicht offensichtlich, was darauf hindeutet, dass er bei der Modellierung langer Sequenzen mehr Vorteile bietet.

Sprachmodellierung

Um zu verstehen, ob das Langzeitged?chtnis zur Erweiterung vorab trainierter Sprachmodelle verwendet werden kann, führten die Forscher GPT-2 Small an einer Teilmenge von Wikitext103 und PG-19 Fine- durch. abgestimmt, darunter rund 200 Millionen Token.

Die experimentellen Ergebnisse zeigen, dass ∞-Former die Verwirrung von Wikitext-103 und PG19 verringern kann und ∞-Former eine gr??ere Verbesserung gegenüber dem PG19-Datensatz erzielt, da Bücher st?rker davon abh?ngig sind als Wikipedia-Artikel Langzeitged?chtnis.

Dokumentbasierter Dialog

Bei der dokumentbasierten Dialoggenerierung kann das Modell neben dem Dialogverlauf auch Dokumente zum Gespr?chsthema abrufen.

Im CMU Document Grounded Conversation-Datensatz (CMU-DoG) handelt es sich bei der Konversation um einen Film, und eine Zusammenfassung des Films wird als Hilfsdokument angegeben; die Konversation enth?lt mehrere verschiedene fortlaufende Diskurse, die Hilfsdokumente sind in mehrere Teile unterteilt.

Um den Nutzen des Langzeitged?chtnisses zu beurteilen, gew?hrten die Forscher dem Modell erst vor Beginn des Gespr?chs Zugriff auf die Datei, was die Aufgabe schwieriger machte.

Nach der Feinabstimmung von GPT-2 wird GPT-2 mithilfe eines kontinuierlichen LTM (∞-Former) mit N=512 Basisfunktionen erweitert, damit das Modell das gesamte Dokument im Speicher behalten kann.

Um den Modelleffekt zu bewerten, verwenden Sie Ratlosigkeit, F1-Score, Rouge-1 und Rouge-L sowie Meteor-Indikatoren.

Den Ergebnissen nach zu urteilen, k?nnen ∞-Former und Komprimierungstransformator einen besseren Korpus erzeugen. Obwohl die Verwirrung der beiden im Grunde die gleiche ist, erzielt ∞-Former bessere Ergebnisse.

Das obige ist der detaillierte Inhalt von5-Millionen-Token-Monster, lesen Sie den gesamten ?Harry Potter' auf einmal! Mehr als 1000-mal l?nger als ChatGPT. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!