国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

首頁(yè) 后端開(kāi)發(fā) Golang Go 調(diào)用 LangChain(一)

Go 調(diào)用 LangChain(一)

Jan 02, 2025 pm 09:29 PM

Calling LangChain from Go (Part 1)

動(dòng)機(jī)

在使用 Golang 和 LLM 進(jìn)行“假期”測(cè)試(之前的帖子...)之后,我一直在尋找一種在 Go 中實(shí)現(xiàn) LangChain 調(diào)用的簡(jiǎn)單方法,最好使用 watsonx.ai

幸運(yùn)的是,我找到了以下 Github 存儲(chǔ)庫(kù):https://github.com/tmc/langchaingo(向 Travis Cline 行屈膝禮 https://github.com/tmc)。

在他的存儲(chǔ)庫(kù)中,有一個(gè)特定的文件夾:https://github.com/tmc/langchaingo/blob/main/examples/watsonx-llm-example/watsonx_example.go 引起了我的注意!

所以像往常一樣,我建立了一個(gè)項(xiàng)目并嘗試實(shí)現(xiàn)它,并提出了我自己的想法(à ma醬?)。

執(zhí)行

像往常一樣需要環(huán)境變量,我設(shè)置了一個(gè) .env 文件,稍后在應(yīng)用程序中使用。

export WATSONX_API_KEY="your-watsonx-api-key"
export WATSONX_PROJECT_ID="your-watsonx-projectid"
# I used the US-SOUTH, could be any other region of IBM Cloud
export SERVICE_URL="https://us-south.ml.cloud.ibm.com" 

在上一篇文章中,我提到嘗試計(jì)算法學(xué)碩士發(fā)送和接收的代幣數(shù)量。這項(xiàng)工作仍在進(jìn)行中,因此我直接在應(yīng)用程序中使用了“tiktoken-go”庫(kù),并打算對(duì)其進(jìn)行一些更改(在不久的將來(lái)?)。無(wú)論如何,就我目前的進(jìn)度而言,它并沒(méi)有真正起作用,但它就在那里。

對(duì)于應(yīng)用程序本身,我?guī)缀醢丛瓨邮褂昧?Travis 存儲(chǔ)庫(kù)中的代碼,并添加和包裝了以下功能;

  • 使用對(duì)話框進(jìn)行提示輸入(?我喜歡對(duì)話框?)
  • 嘗試”計(jì)算發(fā)送給法學(xué)碩士和從法學(xué)碩士收到的“令牌”數(shù)量。 代碼本身如下;
package main

import (
    "context"
    "fmt"
    "log"
    "os"
    "os/exec"
    "runtime"

    "fyne.io/fyne/v2"
    "fyne.io/fyne/v2/app"
    "fyne.io/fyne/v2/container"
    "fyne.io/fyne/v2/dialog"
    "fyne.io/fyne/v2/widget"

    "github.com/joho/godotenv"
    "github.com/pkoukk/tiktoken-go"
    "github.com/tmc/langchaingo/llms"
    "github.com/tmc/langchaingo/llms/watsonx"
)

const (
    _tokenApproximation = 4
)

const (
    _gpt35TurboContextSize   = 4096
    _gpt432KContextSize      = 32768
    _gpt4ContextSize         = 8192
    _textDavinci3ContextSize = 4097
    _textBabbage1ContextSize = 2048
    _textAda1ContextSize     = 2048
    _textCurie1ContextSize   = 2048
    _codeDavinci2ContextSize = 8000
    _codeCushman1ContextSize = 2048
    _textBisonContextSize    = 2048
    _chatBisonContextSize    = 2048
    _defaultContextSize      = 2048
)

// nolint:gochecknoglobals
var modelToContextSize = map[string]int{
    "gpt-3.5-turbo":    _gpt35TurboContextSize,
    "gpt-4-32k":        _gpt432KContextSize,
    "gpt-4":            _gpt4ContextSize,
    "text-davinci-003": _textDavinci3ContextSize,
    "text-curie-001":   _textCurie1ContextSize,
    "text-babbage-001": _textBabbage1ContextSize,
    "text-ada-001":     _textAda1ContextSize,
    "code-davinci-002": _codeDavinci2ContextSize,
    "code-cushman-001": _codeCushman1ContextSize,
}

var tokens int

func runCmd(name string, arg ...string) {
    cmd := exec.Command(name, arg...)
    cmd.Stdout = os.Stdout
    cmd.Run()
}

func ClearTerminal() {
    switch runtime.GOOS {
    case "darwin":
        runCmd("clear")
    case "linux":
        runCmd("clear")
    case "windows":
        runCmd("cmd", "/c", "cls")
    default:
        runCmd("clear")
    }
}

func promptEntryDialog() string {

    var promptEntry string

    // Create a new Fyne application
    myApp := app.New()
    myWindow := myApp.NewWindow("Prompt Entry Dialog")

    // Variable to store user input
    var userInput string

    // Button to show the dialog
    button := widget.NewButton("Click to Enter your prompt's text", func() {
        entry := widget.NewEntry()
        dialog.ShowCustomConfirm("Input Dialog", "OK", "Cancel", entry, func(confirm bool) {
            if confirm {
                userInput = entry.Text
                promptEntry = userInput
                fmt.Println("User Input:", userInput) // Print to the console
                myWindow.Close()
            }
        }, myWindow)
    })

    // Add the button to the window
    myWindow.SetContent(container.NewVBox(
        widget.NewLabel("Click the button below to enter text:"),
        button,
    ))

    // Set the window size and run the application
    myWindow.Resize(fyne.NewSize(400, 200))
    myWindow.ShowAndRun()
    return promptEntry
}

func CountTokens(model, text string, inorout string) int {
    var txtLen int
    e, err := tiktoken.EncodingForModel(model)
    if err != nil {
        e, err = tiktoken.GetEncoding("gpt2")
        if err != nil {
            log.Printf("[WARN] Failed to calculate number of tokens for model, falling back to approximate count")
            txtLen = len([]rune(text))

            fmt.Println("Guessed tokens for the "+inorout+" text:", txtLen/_tokenApproximation)

            return txtLen
        }
    }
    return len(e.Encode(text, nil, nil))
}

func GetModelContextSize(model string) int {
    contextSize, ok := modelToContextSize[model]
    if !ok {
        return _defaultContextSize
    }
    return contextSize
}

func CalculateMaxTokens(model, text string) int {
    return GetModelContextSize(model) - CountTokens(model, text, text)
}

func main() {
    var prompt, model string

    // read the '.env' file
    err := godotenv.Load()
    if err != nil {
        log.Fatal("Error loading .env file")
    }

    ApiKey := os.Getenv("WATSONX_API_KEY")
    if ApiKey == "" {
        log.Fatal("WATSONX_API_KEY environment variable is not set")
    }
    ServiceURL := os.Getenv("SERVICE_URL")
    if ServiceURL == "" {
        log.Fatal("SERVICE_URL environment variable is not set")
    }
    ProjectID := os.Getenv("WATSONX_PROJECT_ID")
    if ProjectID == "" {
        log.Fatal("WATSONX_PROJECT_ID environment variable is not set")
    }

    // LLM from watsonx.ai
    model = "ibm/granite-13b-instruct-v2"
    // model = "meta-llama/llama-3-70b-instruct"

    llm, err := watsonx.New(
        model,
        //// Optional parameters: to be implemented if needed - Not used at this stage but all ready
        // wx.WithWatsonxAPIKey(ApiKey),
        // wx.WithWatsonxProjectID("YOUR WATSONX PROJECT ID"),
    )

    if err != nil {
        log.Fatal(err)
    }
    ctx := context.Background()

    prompt = promptEntryDialog()

    // for the output visibility on the consol - getting rid of system messages
    ClearTerminal()

    // Use the entry variable here
    fmt.Println("Calling the llm with the user's prompt:", prompt)

    tokens = CountTokens(model, prompt, "input")

    completion, err := llms.GenerateFromSinglePrompt(
        ctx,
        llm,
        prompt,
        llms.WithTopK(10),
        llms.WithTopP(0.95),
        llms.WithSeed(25),
    )
    // Check for errors
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(completion)

    tokens = CountTokens(model, completion, "output")

}

效果很好,輸出如下所示。

Calling the llm with the user's prompt: What is the distance in Kilmometers from Earth to Moon?
2024/12/31 11:08:04 [WARN] Failed to calculate number of tokens for model, falling back to approximate count
Guessed tokens for the input text: 13
The distance from Earth to the Moon is about 384,400 kilometers.
2024/12/31 11:08:04 [WARN] Failed to calculate number of tokens for model, falling back to approximate count
Guessed tokens for the output text: 16

#####


Calling the llm with the user's prompt: What is the name of the capital city of France?
2024/12/31 11:39:28 [WARN] Failed to calculate number of tokens for model, falling back to approximate count
Guessed tokens for the input text: 11
Paris
2024/12/31 11:39:28 [WARN] Failed to calculate number of tokens for model, falling back to approximate count
Guessed tokens for the output text: 1

瞧!

后續(xù)步驟

我將為版本 0.2 實(shí)現(xiàn)以下功能;

  • 提出用戶(hù)想要使用的模型,
  • 確定令牌數(shù)量的更準(zhǔn)確方法,
  • 一些真正的LangChain實(shí)現(xiàn)。

結(jié)論

這是我從 Go 應(yīng)用程序調(diào)用 LangChain 的工作的一個(gè)非常簡(jiǎn)單的反映。

敬請(qǐng)期待更多精彩內(nèi)容?

以上是Go 調(diào)用 LangChain(一)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章!

本站聲明
本文內(nèi)容由網(wǎng)友自發(fā)貢獻(xiàn),版權(quán)歸原作者所有,本站不承擔(dān)相應(yīng)法律責(zé)任。如您發(fā)現(xiàn)有涉嫌抄襲侵權(quán)的內(nèi)容,請(qǐng)聯(lián)系admin@php.cn

熱AI工具

Undress AI Tool

Undress AI Tool

免費(fèi)脫衣服圖片

Undresser.AI Undress

Undresser.AI Undress

人工智能驅(qū)動(dòng)的應(yīng)用程序,用于創(chuàng)建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用于從照片中去除衣服的在線人工智能工具。

Clothoff.io

Clothoff.io

AI脫衣機(jī)

Video Face Swap

Video Face Swap

使用我們完全免費(fèi)的人工智能換臉工具輕松在任何視頻中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費(fèi)的代碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

功能強(qiáng)大的PHP集成開(kāi)發(fā)環(huán)境

Dreamweaver CS6

Dreamweaver CS6

視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具

SublimeText3 Mac版

SublimeText3 Mac版

神級(jí)代碼編輯軟件(SublimeText3)

熱門(mén)話題

如何在GO中的結(jié)構(gòu)實(shí)例上調(diào)用方法? 如何在GO中的結(jié)構(gòu)實(shí)例上調(diào)用方法? Jun 24, 2025 pm 03:17 PM

在Go語(yǔ)言中,調(diào)用結(jié)構(gòu)體方法需先定義結(jié)構(gòu)體和綁定接收者的方法,使用點(diǎn)號(hào)訪問(wèn)。定義結(jié)構(gòu)體Rectangle后,可通過(guò)值接收者或指針接收者聲明方法;1.使用值接收者如func(rRectangle)Area()int,通過(guò)rect.Area()直接調(diào)用;2.若需修改結(jié)構(gòu)體,應(yīng)使用指針接收者如func(r*Rectangle)SetWidth(...),Go會(huì)自動(dòng)處理指針與值的轉(zhuǎn)換;3.嵌入結(jié)構(gòu)體時(shí),內(nèi)嵌結(jié)構(gòu)體的方法會(huì)被提升,可直接通過(guò)外層結(jié)構(gòu)體調(diào)用;4.Go無(wú)需強(qiáng)制使用getter/setter,字

將Golang服務(wù)與現(xiàn)有Python基礎(chǔ)架構(gòu)集成的策略 將Golang服務(wù)與現(xiàn)有Python基礎(chǔ)架構(gòu)集成的策略 Jul 02, 2025 pm 04:39 PM

TOIntegrategolangServicesWithExistingPypythoninFrasture,userestapisorgrpcForinter-serviceCommunication,允許GoandGoandPyThonAppStoStoInteractSeamlessSeamLlyThroughlyThroughStandArdArdAdrotized Protoccols.1.usererestapis(ViaFrameWorkslikeSlikeSlikeGiningOandFlaskInpyThon)Orgrococo(wirs Propococo)

我如何使用時(shí)間軟件包來(lái)處理GO的時(shí)間和持續(xù)時(shí)間? 我如何使用時(shí)間軟件包來(lái)處理GO的時(shí)間和持續(xù)時(shí)間? Jun 23, 2025 pm 11:21 PM

Go的time包提供了處理時(shí)間和持續(xù)時(shí)間的功能,包括獲取當(dāng)前時(shí)間、格式化日期、計(jì)算時(shí)間差、處理時(shí)區(qū)、調(diào)度和休眠等操作。要獲取當(dāng)前時(shí)間,使用time.Now()獲取Time結(jié)構(gòu)體,并可通過(guò)Year()、Month()、Day()等方法提取具體時(shí)間信息;通過(guò)Format("2006-01-0215:04:05")可將時(shí)間格式化為字符串;計(jì)算時(shí)間差時(shí),用Sub()或Since()獲取Duration對(duì)象,再通過(guò)Seconds()、Minutes()、Hours()轉(zhuǎn)換為對(duì)應(yīng)單位;添

了解Web API的Golang和Python之間的性能差異 了解Web API的Golang和Python之間的性能差異 Jul 03, 2025 am 02:40 AM

Golangofferssuperiorperformance,nativeconcurrencyviagoroutines,andefficientresourceusage,makingitidealforhigh-traffic,low-latencyAPIs;2.Python,whileslowerduetointerpretationandtheGIL,provideseasierdevelopment,arichecosystem,andisbettersuitedforI/O-bo

我如何根據(jù)語(yǔ)句使用語(yǔ)句執(zhí)行代碼? 我如何根據(jù)語(yǔ)句使用語(yǔ)句執(zhí)行代碼? Jun 23, 2025 pm 07:02 PM

Ingo,ifstatementSexecuteCodeBasedonConconditions.1.BasicsStructurerunsablockifaconditionistrue,例如IFX> 10 {...}。2.Elseclausehan dlesfalseconditions,例如,else {...}。3。elseifchainsmultipleconditions,例如,elseifx == 10 {...}。4.variableInitializationInsideIndifif,l

去支持并發(fā)如何? 去支持并發(fā)如何? Jun 23, 2025 pm 12:37 PM

Gohandlesconcurrencyusinggoroutinesandchannels.1.GoroutinesarelightweightfunctionsmanagedbytheGoruntime,enablingthousandstorunco??ncurrentlywithminimalresourceuse.2.Channelsprovidesafecommunicationbetweengoroutines,allowingvaluestobesentandreceivedinas

如何使用lock()和unlock()方法來(lái)保護(hù)GO中的重要代碼部分? 如何使用lock()和unlock()方法來(lái)保護(hù)GO中的重要代碼部分? Jun 23, 2025 pm 08:37 PM

在Go中保護(hù)臨界區(qū)的標(biāo)準(zhǔn)方法是使用sync.Mutex的Lock()和Unlock()方法。1.聲明一個(gè)mutex并將其與要保護(hù)的數(shù)據(jù)一起使用;2.在進(jìn)入臨界區(qū)前調(diào)用Lock(),確保只有一個(gè)goroutine能訪問(wèn)共享資源;3.使用deferUnlock()確保鎖始終被釋放,避免死鎖;4.盡量縮短臨界區(qū)內(nèi)的操作以提高性能;5.對(duì)于讀多寫(xiě)少的場(chǎng)景,應(yīng)使用sync.RWMutex,通過(guò)RLock()/RUnlock()進(jìn)行讀操作,通過(guò)Lock()/Unlock()進(jìn)行寫(xiě)操作,從而提升并發(fā)效率。

如何在GO(&|, ^,&,)中使用位運(yùn)算符? 如何在GO(&|, ^,&,)中使用位運(yùn)算符? Jun 23, 2025 pm 01:57 PM

在Go語(yǔ)言中使用位運(yùn)算符操作整數(shù)的特定位,適用于處理標(biāo)志位、底層數(shù)據(jù)或優(yōu)化操作。1.使用&(按位與)檢查特定bit是否設(shè)置;2.使用

See all articles