利用Anthropic的Claude 3.5 Sonnet產(chǎn)生報(bào)表：兩種方法的比較

大家好！我是Raphael，巴西房地產(chǎn)公司Pilar的共同創(chuàng)辦人兼CTO。 Pilar為房地產(chǎn)經(jīng)紀(jì)人和經(jīng)紀(jì)公司提供軟體和服務(wù)，採用低成功費(fèi)模式。我們不收取高昂的前期費(fèi)用，而是從每次成功的交易中收取少量傭金，使我們的成功直接與客戶的成功掛鉤。我們由20位技術(shù)人員組成的團(tuán)隊(duì)不斷創(chuàng)新，最新產(chǎn)品是Pilar Homes，一個(gè)全新的房地產(chǎn)入口網(wǎng)站，旨在為購屋者和房地產(chǎn)經(jīng)紀(jì)人提供最佳體驗(yàn)。

在這篇文章中，我將分享我們使用人工智慧產(chǎn)生報(bào)告的經(jīng)驗(yàn)，特別是Anthropic的Claude 3.5 Sonnet，並比較兩種不同的方法。

我們處理任務(wù)的理念將在未來的文章中詳細(xì)介紹（敬請(qǐng)關(guān)注！），但簡而言之，這些任務(wù)最終以Jira工單的形式出現(xiàn)在「技術(shù)服務(wù)臺(tái)」看板上。產(chǎn)生報(bào)告就是這樣一項(xiàng)任務(wù)，大多數(shù)任務(wù)需要工程師花費(fèi)大約30分鐘來解決，複雜報(bào)告很少超過幾個(gè)小時(shí)。但情況正在改變。我們最初只與一兩個(gè)合作夥伴合作的精品品牌正在擴(kuò)張，成為更大的經(jīng)紀(jì)公司，我們也與業(yè)內(nèi)老牌公司簽訂了更多合約。雖然增加工程師的工作時(shí)間可以解決日益增長的報(bào)告需求，但我看到了探索人工智慧代理並在現(xiàn)實(shí)環(huán)境中學(xué)習(xí)架構(gòu)模式的機(jī)會(huì)。

方法一：讓AI全權(quán)處理並達(dá)到max_tokens限制

在我們的初始方法中，我們將工具暴露給Claude的3.5 Sonnet模型，使其能夠執(zhí)行資料庫查詢、將檢索到的文檔轉(zhuǎn)換為CSV並將其結(jié)果寫入.csv檔案。

以下是我們的結(jié)構(gòu)，很大程度上受到了上面部落格文章的啟發(fā)：

<code># 每個(gè)collection對(duì)象描述一個(gè)MongoDB集合及其字段
# 這有助于Claude理解我們的數(shù)據(jù)模式
COLLECTIONS = [
    {
        'name': 'companies',
        'description': 'Companies are the real estate brokerages. If the user provides a code to filter the data, it will be a company code. The _id may be retrieved by querying the company with the given code. Company codes are not used to join data.',
        'fields': {
            '_id': 'The ObjectId is the MongoDB id that uniquely identifies a company document. Its JSON representation is \"{"$oid": "the id"}\"',
            'code': 'The company code is a short and human friendly string that uniquely identifies the company. Never use it for joining data.',
            'name': 'A string representing the company name',
        }
    },
    # 此處之后描述了更多集合，但思路相同...
]

# 這是client.messages.create的“system”參數(shù)
ROLE_PROMPT = "You are an engineer responsible for generating reports in CSV based on a user's description of the report content"

# 這是“user”消息
task_prompt = f"{report_description}.\nAvailable collections: {COLLECTIONS}\nCompany codes: {company_codes}\n.Always demand a company code from the user to filter the data -- the user may use the terms imobiliária, marca, brand or company to reference a company. If the user wants a field that does not exist in a collection, don't add it to the report and don't ask the user for the field."
</code>

report_description只是一個(gè)透過argparse讀取的命令列參數(shù)，company_codes是從資料庫中檢索到的，並將其暴露給模型，以便它知道哪些公司存在以及用戶輸入中什麼是公司代碼。範(fàn)例：（MO - Mosaic Homes，NV - Nova Real Estate，等等）。

模型可用的工具包括：find和docs2csv。

<code>def find(collection: str, query: str, fields: list[str]) -> Cursor:
    """Find documents in a collection filtering by "query" and retrieving fields via projection"""
    return db.get_collection(collection).find(query, projection={field: 1 for field in fields})

def docs2csv(documents: list[dict]) -> list[str]:
    """
    Convert a dictionary to a CSV string.
    """
    print(f"Converting {len(documents)} documents to CSV")
    with open('report.csv', mode='w', encoding='utf-8') as file:
        writer = csv.DictWriter(file, fieldnames=documents[0].keys())
        writer.writeheader()
        writer.writerows(documents)
    return "report.csv"</code>

Claude能夠呼叫find函數(shù)對(duì)我們的資料庫執(zhí)行結(jié)構(gòu)良好的查詢和投影，並使用docs2csv工具產(chǎn)生小型CSV報(bào)告（少於500行）。但是，較大的報(bào)告會(huì)觸發(fā)max_tokens錯(cuò)誤。

在分析了我們的令牌使用模式後，我們意識(shí)到大部分令牌消耗都來自透過模型處理單一記錄。這促使我們探索另一種方法：讓Claude產(chǎn)生處理程式碼，而不是直接處理資料。

方法二：Python程式碼產(chǎn)生作為解決方法

雖然解決max_tokens限制在技術(shù)上並不困難，但它需要我們重新思考解決問題的方法。

解決方案？讓Claude產(chǎn)生將在我們的CPU上運(yùn)行的Python程式碼，而不是透過AI處理每個(gè)文件。

我必須修改角色和任務(wù)提示並刪除工具。

以下是報(bào)告產(chǎn)生程式碼的要點(diǎn)。

產(chǎn)生報(bào)告的命令是：

<code># 每個(gè)collection對(duì)象描述一個(gè)MongoDB集合及其字段
# 這有助于Claude理解我們的數(shù)據(jù)模式
COLLECTIONS = [
    {
        'name': 'companies',
        'description': 'Companies are the real estate brokerages. If the user provides a code to filter the data, it will be a company code. The _id may be retrieved by querying the company with the given code. Company codes are not used to join data.',
        'fields': {
            '_id': 'The ObjectId is the MongoDB id that uniquely identifies a company document. Its JSON representation is \"{"$oid": "the id"}\"',
            'code': 'The company code is a short and human friendly string that uniquely identifies the company. Never use it for joining data.',
            'name': 'A string representing the company name',
        }
    },
    # 此處之后描述了更多集合，但思路相同...
]

# 這是client.messages.create的“system”參數(shù)
ROLE_PROMPT = "You are an engineer responsible for generating reports in CSV based on a user's description of the report content"

# 這是“user”消息
task_prompt = f"{report_description}.\nAvailable collections: {COLLECTIONS}\nCompany codes: {company_codes}\n.Always demand a company code from the user to filter the data -- the user may use the terms imobiliária, marca, brand or company to reference a company. If the user wants a field that does not exist in a collection, don't add it to the report and don't ask the user for the field."
</code>

Claude產(chǎn)生的Python內(nèi)容（運(yùn)作良好）：

<code>def find(collection: str, query: str, fields: list[str]) -> Cursor:
    """Find documents in a collection filtering by "query" and retrieving fields via projection"""
    return db.get_collection(collection).find(query, projection={field: 1 for field in fields})

def docs2csv(documents: list[dict]) -> list[str]:
    """
    Convert a dictionary to a CSV string.
    """
    print(f"Converting {len(documents)} documents to CSV")
    with open('report.csv', mode='w', encoding='utf-8') as file:
        writer = csv.DictWriter(file, fieldnames=documents[0].keys())
        writer.writeheader()
        writer.writerows(documents)
    return "report.csv"</code>

結(jié)論

我們與Claude 3.5 Sonnet的歷程表明，人工智慧可以顯著提高營運(yùn)效率，但成功的關(guān)鍵在於選擇正確的架構(gòu)。程式碼產(chǎn)生方法被證明比直接的AI處理更強(qiáng)大，同時(shí)保持了自動(dòng)化的優(yōu)勢。

除了正確建立報(bào)告外，程式碼產(chǎn)生方法還允許工程師審查AI的工作，這是一件非常好的事情。

為了完全自動(dòng)化流程，消除人工參與並處理更大數(shù)量的報(bào)告，跨多個(gè)代理實(shí)例分配工作——每個(gè)實(shí)例處理更少的令牌——將是該系統(tǒng)的自然演變。對(duì)於這類分散式AI系統(tǒng)中的架構(gòu)挑戰(zhàn)，我強(qiáng)烈推薦Phil Cal?ado關(guān)於建構(gòu)AI產(chǎn)品的最新文章。

此實(shí)現(xiàn)的主要經(jīng)驗(yàn)教訓(xùn)：

• 直接AI處理適用於較小的資料集
• 程式碼產(chǎn)生提供更好的可擴(kuò)充性和可維護(hù)性
• 人工審查增加了可靠性

參考文獻(xiàn)

• Anthropic 文件
• Thomas Taylor 使用 Python SDK 的帶工具的 Anthropic Claude
• Phil Cal?ado 所寫的建構(gòu) AI 產(chǎn)品－第一部分：後端架構(gòu)

以上是使用 Anthropic 的 Claude Sonnet 產(chǎn)生報(bào)告的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！