利用Anthropic的Claude 3.5 Sonnet生成報(bào)告：兩種方法的比較

大家好！我是Raphael，巴西房地產(chǎn)公司Pilar的聯(lián)合創(chuàng)始人兼CTO。Pilar為房地產(chǎn)經(jīng)紀(jì)人和經(jīng)紀(jì)公司提供軟件和服務(wù)，采用低成功費(fèi)模式。我們不收取高昂的前期費(fèi)用，而是從每次成功的交易中收取少量傭金，使我們的成功直接與客戶的成功掛鉤。我們由20名技術(shù)人員組成的團(tuán)隊(duì)不斷創(chuàng)新，最新產(chǎn)品是Pilar Homes，一個(gè)全新的房地產(chǎn)門戶網(wǎng)站，旨在為購房者和房產(chǎn)經(jīng)紀(jì)人提供最佳體驗(yàn)。

在這篇文章中，我將分享我們使用人工智能生成報(bào)告的經(jīng)驗(yàn)，特別是Anthropic的Claude 3.5 Sonnet，并比較兩種不同的方法。

我們處理任務(wù)的理念將在未來的文章中詳細(xì)介紹（敬請(qǐng)關(guān)注?。?，但簡而言之，這些任務(wù)最終以Jira工單的形式出現(xiàn)在“技術(shù)服務(wù)臺(tái)”看板上。生成報(bào)告就是這樣一項(xiàng)任務(wù)，大多數(shù)任務(wù)需要工程師花費(fèi)大約30分鐘來解決，復(fù)雜報(bào)告很少超過幾個(gè)小時(shí)。但情況正在發(fā)生變化。我們最初只與一兩個(gè)合作伙伴合作的精品品牌正在擴(kuò)張，成為更大的經(jīng)紀(jì)公司，我們也與業(yè)內(nèi)老牌公司簽訂了更多合同。雖然增加工程師的工作時(shí)間可以解決日益增長的報(bào)告需求，但我看到了探索人工智能代理并在現(xiàn)實(shí)環(huán)境中學(xué)習(xí)架構(gòu)模式的機(jī)會(huì)。

方法一：讓AI全權(quán)處理并達(dá)到max_tokens限制

在我們的初始方法中，我們將工具暴露給Claude的3.5 Sonnet模型，使其能夠執(zhí)行數(shù)據(jù)庫查詢、將檢索到的文檔轉(zhuǎn)換為CSV并將其結(jié)果寫入.csv文件。

以下是我們的結(jié)構(gòu)，很大程度上受到了上面博客文章的啟發(fā)：

<code># 每個(gè)collection對(duì)象描述一個(gè)MongoDB集合及其字段
# 這有助于Claude理解我們的數(shù)據(jù)模式
COLLECTIONS = [
    {
        'name': 'companies',
        'description': 'Companies are the real estate brokerages. If the user provides a code to filter the data, it will be a company code. The _id may be retrieved by querying the company with the given code. Company codes are not used to join data.',
        'fields': {
            '_id': 'The ObjectId is the MongoDB id that uniquely identifies a company document. Its JSON representation is \"{"$oid": "the id"}\"',
            'code': 'The company code is a short and human friendly string that uniquely identifies the company. Never use it for joining data.',
            'name': 'A string representing the company name',
        }
    },
    # 此處之后描述了更多集合，但思路相同...
]

# 這是client.messages.create的“system”參數(shù)
ROLE_PROMPT = "You are an engineer responsible for generating reports in CSV based on a user's description of the report content"

# 這是“user”消息
task_prompt = f"{report_description}.\nAvailable collections: {COLLECTIONS}\nCompany codes: {company_codes}\n.Always demand a company code from the user to filter the data -- the user may use the terms imobiliária, marca, brand or company to reference a company. If the user wants a field that does not exist in a collection, don't add it to the report and don't ask the user for the field."
</code>

report_description只是一個(gè)通過argparse讀取的命令行參數(shù)，company_codes是從數(shù)據(jù)庫中檢索到的，并將其暴露給模型，以便它知道哪些公司存在以及用戶輸入中什么是公司代碼。示例：（MO - Mosaic Homes，NV - Nova Real Estate，等等）。

模型可用的工具包括：find和docs2csv。

<code>def find(collection: str, query: str, fields: list[str]) -> Cursor:
    """Find documents in a collection filtering by "query" and retrieving fields via projection"""
    return db.get_collection(collection).find(query, projection={field: 1 for field in fields})

def docs2csv(documents: list[dict]) -> list[str]:
    """
    Convert a dictionary to a CSV string.
    """
    print(f"Converting {len(documents)} documents to CSV")
    with open('report.csv', mode='w', encoding='utf-8') as file:
        writer = csv.DictWriter(file, fieldnames=documents[0].keys())
        writer.writeheader()
        writer.writerows(documents)
    return "report.csv"</code>

Claude能夠調(diào)用find函數(shù)對(duì)我們的數(shù)據(jù)庫執(zhí)行結(jié)構(gòu)良好的查詢和投影，并使用docs2csv工具生成小型CSV報(bào)告（少于500行）。但是，較大的報(bào)告會(huì)觸發(fā)max_tokens錯(cuò)誤。

在分析了我們的令牌使用模式后，我們意識(shí)到大部分令牌消耗都來自通過模型處理單個(gè)記錄。這促使我們探索另一種方法：讓Claude生成處理代碼，而不是直接處理數(shù)據(jù)。

方法二：Python代碼生成作為解決方法

雖然解決max_tokens限制在技術(shù)上并不困難，但它需要我們重新思考解決問題的方法。

解決方案？讓Claude生成將在我們的CPU上運(yùn)行的Python代碼，而不是通過AI處理每個(gè)文檔。

我必須修改角色和任務(wù)提示并刪除工具。

以下是報(bào)告生成代碼的要點(diǎn)。

生成報(bào)告的命令是：

<code># 每個(gè)collection對(duì)象描述一個(gè)MongoDB集合及其字段
# 這有助于Claude理解我們的數(shù)據(jù)模式
COLLECTIONS = [
    {
        'name': 'companies',
        'description': 'Companies are the real estate brokerages. If the user provides a code to filter the data, it will be a company code. The _id may be retrieved by querying the company with the given code. Company codes are not used to join data.',
        'fields': {
            '_id': 'The ObjectId is the MongoDB id that uniquely identifies a company document. Its JSON representation is \"{"$oid": "the id"}\"',
            'code': 'The company code is a short and human friendly string that uniquely identifies the company. Never use it for joining data.',
            'name': 'A string representing the company name',
        }
    },
    # 此處之后描述了更多集合，但思路相同...
]

# 這是client.messages.create的“system”參數(shù)
ROLE_PROMPT = "You are an engineer responsible for generating reports in CSV based on a user's description of the report content"

# 這是“user”消息
task_prompt = f"{report_description}.\nAvailable collections: {COLLECTIONS}\nCompany codes: {company_codes}\n.Always demand a company code from the user to filter the data -- the user may use the terms imobiliária, marca, brand or company to reference a company. If the user wants a field that does not exist in a collection, don't add it to the report and don't ask the user for the field."
</code>

Claude生成的Python內(nèi)容（運(yùn)行良好）：

<code>def find(collection: str, query: str, fields: list[str]) -> Cursor:
    """Find documents in a collection filtering by "query" and retrieving fields via projection"""
    return db.get_collection(collection).find(query, projection={field: 1 for field in fields})

def docs2csv(documents: list[dict]) -> list[str]:
    """
    Convert a dictionary to a CSV string.
    """
    print(f"Converting {len(documents)} documents to CSV")
    with open('report.csv', mode='w', encoding='utf-8') as file:
        writer = csv.DictWriter(file, fieldnames=documents[0].keys())
        writer.writeheader()
        writer.writerows(documents)
    return "report.csv"</code>

結(jié)論

我們與Claude 3.5 Sonnet的歷程表明，人工智能可以顯著提高運(yùn)營效率，但成功的關(guān)鍵在于選擇正確的架構(gòu)。代碼生成方法被證明比直接的AI處理更強(qiáng)大，同時(shí)保持了自動(dòng)化的優(yōu)勢。

除了正確構(gòu)建報(bào)告外，代碼生成方法還允許工程師審查AI的工作，這是一件非常好的事情。

為了完全自動(dòng)化流程，消除人工參與并處理更大數(shù)量的報(bào)告，跨多個(gè)代理實(shí)例分配工作——每個(gè)實(shí)例處理更少的令牌——將是該系統(tǒng)的自然演變。對(duì)于此類分布式AI系統(tǒng)中的架構(gòu)挑戰(zhàn)，我強(qiáng)烈推薦Phil Cal?ado關(guān)于構(gòu)建AI產(chǎn)品的最新文章。

此實(shí)現(xiàn)的主要經(jīng)驗(yàn)教訓(xùn)：

• 直接AI處理適用于較小的數(shù)據(jù)集
• 代碼生成提供更好的可擴(kuò)展性和可維護(hù)性
• 人工審查增加了可靠性

參考文獻(xiàn)

• Anthropic 文檔
• Thomas Taylor 使用 Python SDK 的帶工具的 Anthropic Claude
• Phil Cal?ado 編寫的構(gòu)建 AI 產(chǎn)品——第一部分：后端架構(gòu)

以上是使用 Anthropic 的 Claude Sonnet 生成報(bào)告的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！