近年、ベクトル埋め込みは現(xiàn)代の自然言語処理 (NLP) とセマンティック検索の基礎(chǔ)となっています。ベクトル データベースは、キーワード検索に依存するのではなく、數(shù)値表現(xiàn) (埋め込み) を通じてテキストの「意味」を比較します。この例では、OpenAI 埋め込み、Go、および pgvector 拡張機(jī)能を備えた PostgreSQL を使用してセマンティック検索エンジンを作成する方法を示します。

埋め込みとは何ですか?

埋め込みは、高次元空間におけるテキスト (またはその他のデータ) のベクトル表現(xiàn)です。 2 つのテキストが意味的に類似している場(chǎng)合、それらのベクトルはこの空間內(nèi)で互いに近くなります。 PostgreSQL (pgvector 拡張子付き) のようなデータベースに埋め込みを保存することで、類似性検索を迅速かつ正確に実行できます。

なぜ PostgreSQL と pgvector を選ぶのですか?

pgvector は、PostgreSQL にベクトル データ型を追加する一般的な拡張機(jī)能です。これにより次のことが可能になります:

• エンベディングをベクトル列として保存します
• 近似または正確な最近傍検索を?qū)g行します
• 標(biāo)準(zhǔn) SQL を使用してクエリを?qū)g行します

アプリの概要

1. OpenAI の埋め込み API を呼び出して、入力テキストをベクトル埋め込みに変換します。
2. これらの埋め込みを PostgreSQL に保存するには、pgvector 拡張機(jī)能を使用します。
3. 埋め込みをクエリして、データベース內(nèi)で意味的に最も類似したエントリを検索します。

前提條件

• インストールしてください (1.19 を推奨)。
• PostgreSQL がインストールされ、実行されています (ローカルまたはホスト)。
• PostgreSQL に pgvector 拡張機(jī)能をインストールします。 (インストール手順については、pgvector の GitHub ページを參照してください。)
• アクセスが埋め込まれた OpenAI API キー。

ローカル テスト用の postgres/pgvector および Docker に関連するタスクを含む Makefile。

pgvector:
    @docker run -d \
        --name pgvector \
        -e POSTGRES_USER=admin \
        -e POSTGRES_PASSWORD=admin \
        -e POSTGRES_DB=vectordb \
        -v pgvector_data:/var/lib/postgresql/data \
        -p 5432:5432 \
        pgvector/pgvector:pg17
psql:
    @psql -h localhost -U admin -d vectordb

pgvector がインストールされていることを確認(rèn)してください。次に、PostgreSQL データベースで次のようにします:

CREATE EXTENSION IF NOT EXISTS vector;

完全なコード

package main

import (
    "context"
    "fmt"
    "log"
    "os"
    "strings"

    "github.com/jackc/pgx/v5/pgxpool"
    "github.com/joho/godotenv"
    "github.com/sashabaranov/go-openai"
)

func floats32ToString(floats []float32) string {
    strVals := make([]string, len(floats))
    for i, val := range floats {
        // 將每個(gè)浮點(diǎn)數(shù)格式化為字符串
        strVals[i] = fmt.Sprintf("%f", val)
    }

    // 使用逗號(hào) + 空格連接它們
    joined := strings.Join(strVals, ", ")

    // pgvector 需要方括號(hào)表示法才能輸入向量，例如 [0.1, 0.2, 0.3]
    return "[" + joined + "]"
}

func main() {
    // 加載環(huán)境變量
    err := godotenv.Load()
    if err != nil {
        log.Fatal("加載 .env 文件出錯(cuò)")
    }

    // 創(chuàng)建連接池
    dbpool, err := pgxpool.New(context.Background(), os.Getenv("DATABASE_URL"))
    if err != nil {
        fmt.Fprintf(os.Stderr, "無法創(chuàng)建連接池：%v\n", err)
        os.Exit(1)
    }
    defer dbpool.Close()

    // 1. 確保已啟用 pgvector 擴(kuò)展
    _, err = dbpool.Exec(context.Background(), "CREATE EXTENSION IF NOT EXISTS vector;")
    if err != nil {
        log.Fatalf("創(chuàng)建擴(kuò)展失敗：%v\n", err)
        os.Exit(1)
    }

    // 2. 創(chuàng)建表（如果不存在）
    createTableSQL := `
    CREATE TABLE IF NOT EXISTS documents (
        id SERIAL PRIMARY KEY,
        content TEXT,
        embedding vector(1536)
    );
    `
    _, err = dbpool.Exec(context.Background(), createTableSQL)
    if err != nil {
        log.Fatalf("創(chuàng)建表失?。?v\n", err)
    }

    // 3. 創(chuàng)建索引（如果不存在）
    createIndexSQL := `
    CREATE INDEX IF NOT EXISTS documents_embedding_idx
    ON documents USING ivfflat (embedding vector_l2_ops) WITH (lists = 100);
    `
    _, err = dbpool.Exec(context.Background(), createIndexSQL)
    if err != nil {
        log.Fatalf("創(chuàng)建索引失?。?v\n", err)
    }

    // 4. 初始化 OpenAI 客戶端
    apiKey := os.Getenv("OPENAI_API_KEY")
    if apiKey == "" {
        log.Fatal("未設(shè)置 OPENAI_API_KEY")
    }
    openaiClient := openai.NewClient(apiKey)

    // 5. 插入示例文檔
    docs := []string{
        "PostgreSQL 是一個(gè)先進(jìn)的開源關(guān)系數(shù)據(jù)庫(kù)。",
        "OpenAI 提供基于 GPT 的模型來生成文本嵌入。",
        "pgvector 允許將嵌入存儲(chǔ)在 Postgres 數(shù)據(jù)庫(kù)中。",
    }

    for _, doc := range docs {
        err = insertDocument(context.Background(), dbpool, openaiClient, doc)
        if err != nil {
            log.Printf("插入文檔“%s”失?。?v\n", doc, err)
        }
    }

    // 6. 查詢相似性
    queryText := "如何在 Postgres 中存儲(chǔ)嵌入？"
    similarDocs, err := searchSimilarDocuments(context.Background(), dbpool, openaiClient, queryText, 5)
    if err != nil {
        log.Fatalf("搜索失敗：%v\n", err)
    }

    fmt.Println("=== 最相似的文檔 ===")
    for _, doc := range similarDocs {
        fmt.Printf("- %s\n", doc)
    }
}

// insertDocument 使用 OpenAI API 為 `content` 生成嵌入，并將其插入 documents 表中。
func insertDocument(ctx context.Context, dbpool *pgxpool.Pool, client *openai.Client, content string) error {
    // 1) 從 OpenAI 獲取嵌入
    embedResp, err := client.CreateEmbeddings(ctx, openai.EmbeddingRequest{
        Model: openai.AdaEmbeddingV2, // "text-embedding-ada-002"
        Input: []string{content},
    })
    if err != nil {
        return fmt.Errorf("CreateEmbeddings API 調(diào)用失?。?w", err)
    }

    // 2) 將嵌入轉(zhuǎn)換為 pgvector 的方括號(hào)字符串
    embedding := embedResp.Data[0].Embedding // []float32
    embeddingStr := floats32ToString(embedding)

    // 3) 插入 PostgreSQL
    insertSQL := `
        INSERT INTO documents (content, embedding)
        VALUES (, ::vector)
    `
    _, err = dbpool.Exec(ctx, insertSQL, content, embeddingStr)
    if err != nil {
        return fmt.Errorf("插入文檔失?。?w", err)
    }

    return nil
}

// searchSimilarDocuments 獲取用戶查詢的嵌入，并根據(jù)向量相似性返回前 k 個(gè)相似的文檔。
func searchSimilarDocuments(ctx context.Context, pool *pgxpool.Pool, client *openai.Client, query string, k int) ([]string, error) {
    // 1) 通過 OpenAI 獲取用戶查詢的嵌入
    embedResp, err := client.CreateEmbeddings(ctx, openai.EmbeddingRequest{
        Model: openai.AdaEmbeddingV2, // "text-embedding-ada-002"
        Input: []string{query},
    })
    if err != nil {
        return nil, fmt.Errorf("CreateEmbeddings API 調(diào)用失?。?w", err)
    }

    // 2) 將 OpenAI 嵌入轉(zhuǎn)換為 pgvector 的方括號(hào)字符串格式
    queryEmbedding := embedResp.Data[0].Embedding // []float32
    queryEmbeddingStr := floats32ToString(queryEmbedding)
    // 例如 "[0.123456, 0.789012, ...]"

    // 3) 構(gòu)建按向量相似性排序的 SELECT 語句
    selectSQL := fmt.Sprintf(`
        SELECT content
        FROM documents
        ORDER BY embedding <-> '%s'::vector
        LIMIT %d;
    `, queryEmbeddingStr, k)

    // 4) 運(yùn)行查詢
    rows, err := pool.Query(ctx, selectSQL)
    if err != nil {
        return nil, fmt.Errorf("查詢文檔失?。?w", err)
    }
    defer rows.Close()

    // 5) 讀取匹配的文檔
    var contents []string
    for rows.Next() {
        var content string
        if err := rows.Scan(&content); err != nil {
            return nil, fmt.Errorf("掃描行失?。?w", err)
        }
        contents = append(contents, content)
    }
    if err = rows.Err(); err != nil {
        return nil, fmt.Errorf("行迭代錯(cuò)誤：%w", err)
    }

    return contents, nil
}

結(jié)論

PostgreSQL、Go、pgvector の OpenAI 埋め込みは、セマンティック検索アプリケーションを構(gòu)築するための簡(jiǎn)単なソリューションを提供します。テキストをベクトルとして表現(xiàn)し、データベース インデックスの力を活用することで、従來のキーワードベースの検索からコンテキストと意味による検索に移行します。

この改訂された出力では、元の言語スタイルが維持され、オリジナリティーを高めるために文が言い換えられ、畫像の形式と位置が維持されます。また、主な変更點(diǎn)には、より説明的な変數(shù)名とコメントが含まれています。

以上がOpenAI、Go、PostgreSQL を使用したセマンティック検索エンジンの構(gòu)築 (pgvector)の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。