Untersuchung der Effizienz von 1,58-Bit-quantisierten LLMs

Gro?e Sprachmodelle (LLMs) nehmen an Gr??e und Komplexit?t rasch zu, was zu eskalierenden Rechenkosten und Energieverbrauch führt. Quantisierung, eine Technik zur Verringerung der Pr?zision von Modellparametern, bietet eine vielversprechende L?sung. Dieser Artikel befasst sich mit Bitnet, einem neuartigen Ansatz, der sich mit beispiellosen 1,58 Bits mit bemerkenswerten Effizienzgewinnen befasst.

Die Herausforderung der Quantisierung

Herk?mmliche LLMs verwenden 16-Bit (FP16) oder 32-Bit (FP32) -Floating-Punkt-Pr?zision. Die Quantisierung reduziert diese Genauigkeit auf niedrigere Bit-Formate (z. B. 8-Bit, 4-Bit), was zu Speichereinsparungen und einer schnelleren Berechnung führt. Dies geht jedoch h?ufig zu Lasten der Genauigkeit. Die wichtigste Herausforderung besteht darin, den Leistungskompromiss zu minimieren, der der extremen Pr?zisionsreduzierung inh?rent ist.

Bitnet: Ein neuer Ansatz

Bitnet führt eine 1,58-Bit-LLM-Architektur ein, bei der jeder Parameter unter Verwendung der tern?ren Werte {-1, 0, 1} dargestellt wird. Dieser innovative Ansatz nutzt die Bitlineare-Schicht und ersetzt herk?mmliche lineare Schichten in den mehrk?pfigen Aufmerksamkeit des Modells und der Feed-Forward-Netzwerke. Um die Nichtunterscheidbarkeit von tern?ren Gewichten zu überwinden, verwendet BitNet den Straight-Through-Sch?tzer (STE).

Gerade Sch?tzer (STE)

STE ist eine entscheidende Komponente von BitNet. Es erm?glicht Gradienten, sich w?hrend des Backpropagation durch den nicht differenzierbaren Quantisierungsprozess zu verbreiten und trotz der Verwendung diskreter Gewichte ein effektives Modelltraining zu erm?glichen.

Feinabstimmung aus vorgebliebenen Modellen

W?hrend BitNet beim Training von Grund auf beeindruckende Ergebnisse zeigt, sind die Ressourcenanforderungen für die Vorausbildung erheblich. In diesem Artikel wird die Machbarkeit der Feinabstimmung vorhandene vorgebrachte Modelle (z. B. Lama3 8b) auf 1,58 Bit untersucht. Dieser Ansatz steht vor Herausforderungen, da die Quantisierung zu einem Informationsverlust führen kann. Die Autoren sprechen dies an, indem sie dynamische Lambda-Planung und Erforschung alternativer Quantisierungsmethoden (pro Reihenfolge, pro Spalt, pro Gruppe) verwenden.

Optimierungsstrategien

Die Forschung beleuchtet die Bedeutung einer sorgf?ltigen Optimierung w?hrend der Feinabstimmung. Die dynamische Lambda -Planung, die allm?hlich die Quantisierung w?hrend des Trainings einführt, erweist sich als entscheidend für die Minderung des Informationsverlusts und die Verbesserung der Konvergenz. Experimente mit unterschiedlichen Lambda -Planungsfunktionen (linear, exponentiell, Sigmoid) werden durchgeführt, um den optimalen Ansatz zu finden.

Experimentelle Ergebnisse und Analyse

In der Studie werden umfassende experimentelle Ergebnisse vorgestellt und die Leistung von fein abgestimmten 1,58-Bit-Modellen mit verschiedenen Basislinien verglichen. Die Ergebnisse zeigen, dass zwar einige Leistungslücken im Vergleich zu Modellen mit voller Pr?zision bleiben, die Effizienzgewinne jedoch erheblich sind. Der Einfluss der Modellgr??e und die Auswahl der Datens?tze werden ebenfalls analysiert.

Umarmung der Gesichtsintegration

Die fein abgestimmten Modelle werden durch das Umarmungsgesicht zug?nglich gemacht, um eine einfache Integration in verschiedene Anwendungen zu erm?glichen. Der Artikel enth?lt Codebeispiele, die zeigen, wie diese Modelle geladen und verwendet werden.

Abschluss

Bitnet stellt einen signifikanten Fortschritt bei der LLM -Effizienz dar. W?hrend die Feinabstimmung auf 1,58 Bit vor Herausforderungen stellt, zeigt die Forschung das Potenzial, eine vergleichbare Leistung für Modelle mit h?herer Pr?zision mit drastisch reduzierten Rechenkosten und Energieverbrauch zu erzielen. Dies er?ffnet aufregende M?glichkeiten für die Bereitstellung von LLMs gro? angelegten LLMs auf ressourcenbeschr?nkten Ger?ten und zur Verringerung der Umweltauswirkungen von KI.

(Hinweis: Die Bilder werden in dieser Ausgabe, die nicht in einem Format bereitgestellt werden, das direkt eingebaut werden k?nnte, in dieser Ausgabe angegeben, aber nicht enthalten.)

Das obige ist der detaillierte Inhalt vonWie kann man LLMs auf 1,58 Bit feinstimmen? - Analytics Vidhya. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!