Motivation
Nach meinen ?Urlaubs“-Tests (vorherige Beitr?ge…) zur Verwendung von Golang und LLMs suchte ich nach einer einfachen M?glichkeit, LangChain-Aufrufe in Go zu implementieren, und verwende dabei vorzugsweise watsonx.ai.
Glücklicherweise habe ich das folgende Github-Repository gefunden: https://github.com/tmc/langchaingo (knicks vor Travis Cline https://github.com/tmc).
In seinem Repository gibt es diesen speziellen Ordner: https://github.com/tmc/langchaingo/blob/main/examples/watsonx-llm-example/watsonx_example.go, der meine Aufmerksamkeit erregt hat!
Also habe ich wie immer ein Projekt aufgebaut und versucht, es umzusetzen und auch meine eigenen Ideen einzubringen (à ma Sauce?).
Durchführung
Wie üblich, da Umgebungsvariablen ben?tigt werden, habe ich eine .env-Datei eingerichtet, die sp?ter in der App verwendet wird.
export WATSONX_API_KEY="your-watsonx-api-key" export WATSONX_PROJECT_ID="your-watsonx-projectid" # I used the US-SOUTH, could be any other region of IBM Cloud export SERVICE_URL="https://us-south.ml.cloud.ibm.com"
In einem früheren Beitrag habe ich den Versuch erw?hnt, die Anzahl der an ein LLM gesendeten und von einem LLM empfangenen Token zu z?hlen. Da diese Arbeit noch in Arbeit ist, habe ich direkt die ?tiktoken-go“-Bibliothek in meiner App verwendet, mit der Idee, einige ?nderungen daran vorzunehmen (in naher Zukunft?). Wie dem auch sei, im Falle meines aktuellen Fortschritts funktioniert es nicht wirklich, aber es ist da.
Für die App selbst habe ich den Code von Travis aus seinem Repository fast so verwendet, wie er ist, und ihn mit den folgenden Funktionen versehen und umschlossen:
- Verwenden eines Dialogfelds für die Eingabeaufforderung (? Ich liebe Dialogfelder?)
- ?Versuch“, um die Anzahl der ?Tokens“ zu z?hlen, die an das LLM gesendet und von diesem zurückerhalten wurden. Der Code selbst ist der folgende;
package main import ( "context" "fmt" "log" "os" "os/exec" "runtime" "fyne.io/fyne/v2" "fyne.io/fyne/v2/app" "fyne.io/fyne/v2/container" "fyne.io/fyne/v2/dialog" "fyne.io/fyne/v2/widget" "github.com/joho/godotenv" "github.com/pkoukk/tiktoken-go" "github.com/tmc/langchaingo/llms" "github.com/tmc/langchaingo/llms/watsonx" ) const ( _tokenApproximation = 4 ) const ( _gpt35TurboContextSize = 4096 _gpt432KContextSize = 32768 _gpt4ContextSize = 8192 _textDavinci3ContextSize = 4097 _textBabbage1ContextSize = 2048 _textAda1ContextSize = 2048 _textCurie1ContextSize = 2048 _codeDavinci2ContextSize = 8000 _codeCushman1ContextSize = 2048 _textBisonContextSize = 2048 _chatBisonContextSize = 2048 _defaultContextSize = 2048 ) // nolint:gochecknoglobals var modelToContextSize = map[string]int{ "gpt-3.5-turbo": _gpt35TurboContextSize, "gpt-4-32k": _gpt432KContextSize, "gpt-4": _gpt4ContextSize, "text-davinci-003": _textDavinci3ContextSize, "text-curie-001": _textCurie1ContextSize, "text-babbage-001": _textBabbage1ContextSize, "text-ada-001": _textAda1ContextSize, "code-davinci-002": _codeDavinci2ContextSize, "code-cushman-001": _codeCushman1ContextSize, } var tokens int func runCmd(name string, arg ...string) { cmd := exec.Command(name, arg...) cmd.Stdout = os.Stdout cmd.Run() } func ClearTerminal() { switch runtime.GOOS { case "darwin": runCmd("clear") case "linux": runCmd("clear") case "windows": runCmd("cmd", "/c", "cls") default: runCmd("clear") } } func promptEntryDialog() string { var promptEntry string // Create a new Fyne application myApp := app.New() myWindow := myApp.NewWindow("Prompt Entry Dialog") // Variable to store user input var userInput string // Button to show the dialog button := widget.NewButton("Click to Enter your prompt's text", func() { entry := widget.NewEntry() dialog.ShowCustomConfirm("Input Dialog", "OK", "Cancel", entry, func(confirm bool) { if confirm { userInput = entry.Text promptEntry = userInput fmt.Println("User Input:", userInput) // Print to the console myWindow.Close() } }, myWindow) }) // Add the button to the window myWindow.SetContent(container.NewVBox( widget.NewLabel("Click the button below to enter text:"), button, )) // Set the window size and run the application myWindow.Resize(fyne.NewSize(400, 200)) myWindow.ShowAndRun() return promptEntry } func CountTokens(model, text string, inorout string) int { var txtLen int e, err := tiktoken.EncodingForModel(model) if err != nil { e, err = tiktoken.GetEncoding("gpt2") if err != nil { log.Printf("[WARN] Failed to calculate number of tokens for model, falling back to approximate count") txtLen = len([]rune(text)) fmt.Println("Guessed tokens for the "+inorout+" text:", txtLen/_tokenApproximation) return txtLen } } return len(e.Encode(text, nil, nil)) } func GetModelContextSize(model string) int { contextSize, ok := modelToContextSize[model] if !ok { return _defaultContextSize } return contextSize } func CalculateMaxTokens(model, text string) int { return GetModelContextSize(model) - CountTokens(model, text, text) } func main() { var prompt, model string // read the '.env' file err := godotenv.Load() if err != nil { log.Fatal("Error loading .env file") } ApiKey := os.Getenv("WATSONX_API_KEY") if ApiKey == "" { log.Fatal("WATSONX_API_KEY environment variable is not set") } ServiceURL := os.Getenv("SERVICE_URL") if ServiceURL == "" { log.Fatal("SERVICE_URL environment variable is not set") } ProjectID := os.Getenv("WATSONX_PROJECT_ID") if ProjectID == "" { log.Fatal("WATSONX_PROJECT_ID environment variable is not set") } // LLM from watsonx.ai model = "ibm/granite-13b-instruct-v2" // model = "meta-llama/llama-3-70b-instruct" llm, err := watsonx.New( model, //// Optional parameters: to be implemented if needed - Not used at this stage but all ready // wx.WithWatsonxAPIKey(ApiKey), // wx.WithWatsonxProjectID("YOUR WATSONX PROJECT ID"), ) if err != nil { log.Fatal(err) } ctx := context.Background() prompt = promptEntryDialog() // for the output visibility on the consol - getting rid of system messages ClearTerminal() // Use the entry variable here fmt.Println("Calling the llm with the user's prompt:", prompt) tokens = CountTokens(model, prompt, "input") completion, err := llms.GenerateFromSinglePrompt( ctx, llm, prompt, llms.WithTopK(10), llms.WithTopP(0.95), llms.WithSeed(25), ) // Check for errors if err != nil { log.Fatal(err) } fmt.Println(completion) tokens = CountTokens(model, completion, "output") }
Was gut funktioniert, da die Ausgabe unten gezeigt wird.
Calling the llm with the user's prompt: What is the distance in Kilmometers from Earth to Moon? 2024/12/31 11:08:04 [WARN] Failed to calculate number of tokens for model, falling back to approximate count Guessed tokens for the input text: 13 The distance from Earth to the Moon is about 384,400 kilometers. 2024/12/31 11:08:04 [WARN] Failed to calculate number of tokens for model, falling back to approximate count Guessed tokens for the output text: 16 ##### Calling the llm with the user's prompt: What is the name of the capital city of France? 2024/12/31 11:39:28 [WARN] Failed to calculate number of tokens for model, falling back to approximate count Guessed tokens for the input text: 11 Paris 2024/12/31 11:39:28 [WARN] Failed to calculate number of tokens for model, falling back to approximate count Guessed tokens for the output text: 1
Voilà!
N?chste Schritte
Ich würde die folgenden Funktionen für die Version 0.2 implementieren;
- Vorschlagen des Modells, das der Benutzer verwenden m?chte,
- Eine genauere Methode zur Bestimmung der Anzahl der Token
- Einige echte LangChain-Implementierung.
Abschluss
Dies ist eine sehr einfache Darstellung meiner Arbeit rund um den Aufruf von LangChain aus einer Go-Anwendung.
Bleiben Sie gespannt auf weitere Neuigkeiten?
Das obige ist der detaillierte Inhalt vonLangChain von Go aus aufrufen (Teil 1). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Hei?e KI -Werkzeuge

Undress AI Tool
Ausziehbilder kostenlos

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem v?llig kostenlosen KI-Gesichtstausch-Tool aus!

Hei?er Artikel

Hei?e Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Golang wird haupts?chlich für die Back-End-Entwicklung verwendet, kann aber auch eine indirekte Rolle im Front-End-Bereich spielen. Die Konstruktionsziele konzentrieren sich auf leistungsstarke, gleichzeitige Programmierungen und Systeme auf Systemebene und eignen sich zum Erstellen von Back-End-Anwendungen wie API-Servern, Microservices, verteilten Systemen, Datenbankoperationen und CLI-Tools. Obwohl Golang nicht die Mainstream-Sprache für das Web-Front-End ist, kann er über Gopherjs in JavaScript zusammengestellt werden, auf WebAssembly über Tinygo ausgeführt werden oder HTML-Seiten mit einer Vorlagenmotor zur Teilnahme an der Front-End-Entwicklung erzeugen. Die moderne Front-End-Entwicklung muss jedoch noch auf JavaScript/Typecript und sein ?kosystem beruhen. Daher eignet sich Golang besser für die Auswahl der Technologiestapel mit Hochleistungs-Backend als Kern.

Der Schlüssel zur Installation von GO besteht darin, die richtige Version auszuw?hlen, Umgebungsvariablen zu konfigurieren und die Installation zu überprüfen. 1. Gehen Sie zur offiziellen Website, um das Installationspaket des entsprechenden Systems herunterzuladen. Windows verwendet .msi -Dateien, macOS. PKG -Dateien, Linux verwendet .tar.gz -Dateien und entpackt sie in /usr /lokales Verzeichnis. 2. Konfigurieren Sie Umgebungsvariablen, bearbeiten Sie ~/.bashrc oder ~/.zshrc in Linux/macOS, um Pfad und GOPath hinzuzufügen, und Windows -Set -Pfad, um die Systemeigenschaften zu verfolgen. 3.. Verwenden Sie das Regierungsbefehl, um die Installation zu überprüfen, und führen Sie das Testprogramm Hello.go aus, um zu best?tigen, dass die Zusammenstellung und Ausführung normal ist. Pfadeinstellungen und Schleifen w?hrend des gesamten Prozesses

Um ein GraphQLAPI in Go zu erstellen, wird empfohlen, die GQLGen -Bibliothek zur Verbesserung der Entwicklungseffizienz zu verwenden. 1. W?hlen Sie zun?chst die entsprechende Bibliothek wie GQLGen aus, die die automatische Codegenerierung basierend auf dem Schema unterstützt. 2. Definieren Sie dann GraphQlSchema, beschreiben Sie das API -Struktur und das Abfrageportal, z. B. das Definieren von Post -Typen und Abfragemethoden; 3. Initialisieren Sie dann das Projekt und generieren Sie grundlegende Code, um die Gesch?ftslogik in Resolver zu implementieren. 4. Schlie?lich verbinden Sie GraphQlHandler mit HTTPServer und testen Sie die API über den integrierten Spielplatz. Zu den Anmerkungen geh?ren Feldnamenspezifikationen, Fehlerbehandlung, Leistungsoptimierung und Sicherheitseinstellungen, um die Projektwartung sicherzustellen

Sync.waitGroup wird verwendet, um auf eine Gruppe von Goroutinen zu warten, um die Aufgabe zu erledigen. Sein Kern besteht darin, drei Methoden zusammenzuarbeiten: hinzufügen, fertig und warten. 1.Add (n) Stellen Sie die Anzahl der Goroutiner fest, um zu warten; 2.Done () wird am Ende jeder Goroutine bezeichnet, und die Anzahl wird um eins reduziert; 3.wait () blockiert die Hauptkorutine, bis alle Aufgaben erledigt sind. Beachten Sie bitte, dass Sie bei der Verwendung au?erhalb der Goroutine doppelte Warten vermeiden, und stellen Sie sicher, dass der Don aufgerufen wird. Es wird empfohlen, es mit Aufhebung zu verwenden. Es ist h?ufig bei der gleichzeitigen Krabbeln von Webseiten, der Stapeldatenverarbeitung und anderer Szenarien und kann den Parallelit?tsprozess effektiv steuern.

Durch die Verwendung von GO -Einbettenpaket k?nnen statische Ressourcen einfach in bin?re und für Webdienste geeignet einbetten, um HTML, CSS, Bilder und andere Dateien zu verpacken. 1. Deklarieren Sie die eingebettete Ressource zum Hinzufügen // Go: Einbetten Sie einen Kommentar vor der Variablen ein, z. B. das Einbettung einer einzelnen Datei hello.txt; 2. Es kann in das gesamte Verzeichnis wie static/*eingebettet werden und die Multi-File-Verpackung durch Einbettung.Fs realisieren; 3.. Es wird empfohlen, den Festplattenlastmodus über Geb?ude- oder Umgebungsvariablen zu wechseln, um die Effizienz zu verbessern. 4. Achten Sie auf Pfadgenauigkeit, Einschr?nkungen der Dateigr??en und schreibgeschützte Merkmale eingebetteter Ressourcen. Die rationale Verwendung von Einbetten kann die Bereitstellung vereinfachen und die Projektstruktur optimieren.

Der Kern der Audio- und Videoverarbeitung liegt darin, die grundlegenden Prozess- und Optimierungsmethoden zu verstehen. 1. Der grundlegende Prozess umfasst Akquisition, Codierung, übertragung, Decodierung und Wiedergabe, und jeder Link hat technische Schwierigkeiten. 2. H?ufige Probleme wie Audio- und Video -Aberration, Verz?gerungsverz?gerung, Schallger?usch, verschwommenes Bild usw. k?nnen durch synchrone Einstellung, Codierungsoptimierung, Rauschverringerungsmodul, Parameteranpassung usw. gel?st werden; 3.. Es wird empfohlen, FFMPEG, OpenCV, Webrtc, Gstreamer und andere Tools zu verwenden, um Funktionen zu erzielen. 4. In Bezug auf das Leistungsmanagement sollten wir auf die Beschleunigung der Hardware, die angemessene Einstellung der Aufl?sungsrahmenquoten, die Kontrollverkehr und Speicher -Leckage -Probleme achten. Wenn Sie diese wichtigen Punkte beherrschen, werden die Entwicklungseffizienz und die Benutzererfahrung verbessert.

Es ist nicht schwierig, einen in Go geschriebenen Webserver zu erstellen. Der Kern liegt in der Verwendung des NET/HTTP -Pakets zur Implementierung grundlegender Dienste. 1. Verwenden Sie Net/HTTP, um den einfachsten Server zu starten: Registrieren Sie die Verarbeitungsfunktionen und h?ren Sie Ports über einige Codezeilen an. 2. Routing -Management: Verwenden Sie ServeMux, um mehrere Schnittstellenpfade für eine einfache strukturierte Verwaltung zu organisieren. 3. H?ufige Praktiken: Gruppenrouting nach funktionalen Modulen und verwenden Bibliotheken von Drittanbietern, um eine komplexe übereinstimmung zu unterstützen. 4. Statischer Dateidienst: Geben Sie HTML-, CSS- und JS -Dateien über http.FileServer an; 5. Leistung und Sicherheit: Aktivieren Sie HTTPS, begrenzen Sie die Gr??e des Anforderungsorganisation und stellen Sie Zeitüberschreitungen ein, um die Sicherheit und Leistung zu verbessern. Nach dem Beherrschen dieser Schlüsselpunkte ist es einfacher, die Funktionalit?t zu erweitern.

Der Zweck von Select Plus -Standard besteht darin, das Ausw?hlen zu erm?glichen, ein Standardverhalten durchzuführen, wenn keine anderen Zweige bereit sind, um das Programmblockieren zu vermeiden. 1. Beim Empfangen von Daten aus dem Kanal ohne Blockierung, wenn der Kanal leer ist, wird direkt die Standardzweigung eingegeben. 2. In Kombination mit der Zeit. Nach oder Ticker versuchen Sie, Daten regelm??ig zu senden. Wenn der Kanal voll ist, wird er nicht blockiert und überspringt. 3. Verhindern Sie Deadlocks, vermeiden Sie das Programm, das nicht sicher ist, ob der Kanal geschlossen ist. Beachten Sie bei der Verwendung, dass die Standardzweig sofort ausgeführt wird und nicht missbraucht wird, und standardm??ig und der Fall sind sich gegenseitig ausschlie?lich und werden nicht gleichzeitig ausgeführt.
