項(xiàng)目概述

EnCode 2025 挑戰(zhàn)賽中，我的目標(biāo)是創(chuàng)建一個(gè)能夠進(jìn)行高品質(zhì)、自然流暢語(yǔ)音互動(dòng)的 AI 銷售代理，並力求實(shí)現(xiàn)超低延遲，如同與真人對(duì)話般的體驗(yàn)。最終，我建立了一個(gè)能夠完整處理線上輔導(dǎo)中心銷售對(duì)話的系統(tǒng)，涵蓋從問候潛在客戶到了解需求並推薦相關(guān)課程的全過(guò)程，並以積極友好的、類人化的語(yǔ)音進(jìn)行交流。想像一下，一個(gè)不知疲倦、永遠(yuǎn)保持最佳狀態(tài)的銷售人員！

技術(shù)堆疊

• 語(yǔ)音處理: Whisper Large V3 Turbo (確保清晰的語(yǔ)音辨識(shí))
• 核心邏輯: LLaMA 3.3 70B (實(shí)現(xiàn)智慧對(duì)話)
• 語(yǔ)音輸出: F5 TTS (產(chǎn)生自然流暢的語(yǔ)音回覆)
• 資料庫(kù): Pinecone 向量資料庫(kù) (用於上下文管理和資訊檢索)
• 示範(fàn)平臺(tái): Google Colab

系統(tǒng)運(yùn)作原理

系統(tǒng)遵循三個(gè)主要步驟：

1. 語(yǔ)音轉(zhuǎn)文字 (STT)
2. 大型語(yǔ)言模型 (LLM)
3. 文字轉(zhuǎn)語(yǔ)音 (TTS)

流程圖：使用者 -> STT -> LLM -> TTS -> 使用者

詳細(xì)流程:

1. 客戶發(fā)言 -> Whisper 轉(zhuǎn)錄文本。
2. 階段管理器 (使用正規(guī)表示式) 追蹤對(duì)話階段。
3. Pinecone 從資料庫(kù)中擷取相關(guān)資料。
4. LLaMA 3.3 70B 建構(gòu)完美的回應(yīng)。
5. F5 TTS 將文字轉(zhuǎn)換為自然語(yǔ)音。

主要功能

• 智慧語(yǔ)音選擇: 提供 6 種不同的 AI 語(yǔ)音 (2 男 4 女)
• 上下文感知回覆: 基於向量相似性搜尋技術(shù)
• 結(jié)構(gòu)化對(duì)話流程: 由專用的階段管理器控制

當(dāng)前限制

• 演示環(huán)境: 基於 Google Colab 運(yùn)行。
• 記憶體限制: 8k token 的上下文視窗限制。
• 計(jì)算資源消耗: 資源佔(zhàn)用量較大。
• API 依賴: 核心功能依賴多個(gè) API。
• 延遲較高: 存在一定的延遲問題。

經(jīng)驗(yàn)總結(jié)

技術(shù)方面:

• 向量資料庫(kù)的應(yīng)用: 使用 Pinecone 向量資料庫(kù)讓我體會(huì)到在上下文視窗有限的情況下，向量資料庫(kù)如何改變遊戲規(guī)則。毫秒級(jí)的相似性搜尋功能，能夠有效處理對(duì)話歷史和訓(xùn)練資料，非常強(qiáng)大。
• 階段管理的重要性: 透過(guò)明確對(duì)話階段，可以輕鬆地整合與該階段相關(guān)的範(fàn)例，例如如何進(jìn)行推銷、應(yīng)該提出哪些問題等等。
• Web 整合: 使用 fastapi 有效地進(jìn)行前端和後端資料互動(dòng)至關(guān)重要。透過(guò) Webhooks，我們能夠在只初始化一次 AI 通話的情況下，在整個(gè)對(duì)話過(guò)程中進(jìn)行資料交換，並保持連線。

系統(tǒng)設(shè)計(jì)方面:

• 分塊處理的重要性: 將音訊分成 5 秒長(zhǎng)的片段進(jìn)行處理，而不是等待完整的語(yǔ)句，顯著改善了使用者體驗(yàn)，並縮短了處理時(shí)間。這需要在準(zhǔn)確性和速度之間找到最佳平衡點(diǎn)。
• 模組化架構(gòu)的優(yōu)勢(shì): 將系統(tǒng)分解成獨(dú)立的服務(wù) (STT、LLM、TTS)，大大簡(jiǎn)化了開發(fā)和調(diào)試過(guò)程。當(dāng)出現(xiàn)問題時(shí)，可以快速定位需要修復(fù)的部分。

實(shí)際限制方面:

• API 成本: 管理多個(gè) API 呼叫 (Whisper、LLAMA) 讓我了解到最佳化 API 使用的重要性。在保證速度的同時(shí)，盡量減少 API 呼叫次數(shù)是一項(xiàng)很大的挑戰(zhàn)。
• 降低延遲: 當(dāng)不斷從網(wǎng)路上取得和處理資料時(shí)，降低延遲非常困難。未來(lái)，我將嘗試盡量減少?gòu)木W(wǎng)路上傳輸或下載資料的次數(shù)。

意外挑戰(zhàn)方面:

• 提示詞工程: 提示詞工程至關(guān)重要，它決定了模型是否能夠像人類一樣連貫地表達(dá)，還是會(huì)重複相同的句子。
• 上下文視窗限制: 8k token 的限制迫使我必須巧妙地管理上下文。不是儲(chǔ)存所有信息，而是從向量資料庫(kù)中獲取相關(guān)的片段，這讓我能夠?yàn)?LLM 設(shè)計(jì)一個(gè)包含所有必要資訊的結(jié)構(gòu)。

未來(lái)計(jì)畫

• 使用多執(zhí)行緒技術(shù)降低延遲。
• 新增多語(yǔ)言支援。
• 增加更多類型的機(jī)器人，例如“線索機(jī)器人”，在初步線索之後聯(lián)繫客戶促成交易。

體驗(yàn)項(xiàng)目

http://m.miracleart.cn/link/55e2c9d06a7261846e96b8bb2d4e1fe5

GitHub ---

歡迎在留言區(qū)提出您寶貴的建議!

以上是建構(gòu)人工智慧銷售代理：從語(yǔ)音到推銷。的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！