簡(jiǎn)而言之： 本指南演示了如何使用crawl4ai 的人工智能提取和 Pydantic 數(shù)據(jù)模型構(gòu)建電子商務(wù)抓取工具。 抓取工具異步檢索產(chǎn)品列表（名稱、價(jià)格）和詳細(xì)的產(chǎn)品信息（規(guī)格、評(píng)論）。

在 Google Colab 上訪問完整代碼

厭倦了電子商務(wù)數(shù)據(jù)分析的傳統(tǒng)網(wǎng)絡(luò)抓取的復(fù)雜性？本教程使用現(xiàn)代 Python 工具簡(jiǎn)化了該過程。我們將利用 crawl4ai 進(jìn)行智能數(shù)據(jù)提取，并利用 Pydantic 進(jìn)行穩(wěn)健的數(shù)據(jù)建模和驗(yàn)證。

為什么選擇 Crawl4AI 和 Pydantic？

• crawl4ai：使用人工智能驅(qū)動(dòng)的提取方法簡(jiǎn)化網(wǎng)絡(luò)爬行和抓取。
• Pydantic：提供數(shù)據(jù)驗(yàn)證和模式管理，確保抓取的數(shù)據(jù)結(jié)構(gòu)化且準(zhǔn)確。

為什么瞄準(zhǔn) Tokopedia？

印尼主要電商平臺(tái)Tokopedia就是我們的例子。 （注：作者是印度尼西亞人，也是該平臺(tái)的用戶，但不隸屬于該平臺(tái)。）這些原則適用于其他電子商務(wù)網(wǎng)站。 這種抓取方法對(duì)于對(duì)電子商務(wù)分析、市場(chǎng)研究或自動(dòng)數(shù)據(jù)收集感興趣的開發(fā)人員來說是有益的。

是什么讓這種方法與眾不同？

我們不依賴復(fù)雜的CSS選擇器或XPath，而是利用crawl4ai基于LLM的提取。這提供：

• 增強(qiáng)了對(duì)網(wǎng)站結(jié)構(gòu)變化的適應(yīng)能力。
• 更清晰、更結(jié)構(gòu)化的數(shù)據(jù)輸出。
• 減少維護(hù)開銷。

設(shè)置您的開發(fā)環(huán)境

首先安裝必要的軟件包：

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

對(duì)于筆記本中的異步代碼執(zhí)行，我們還將使用 nest_asyncio:

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

使用 Pydantic 定義數(shù)據(jù)模型

我們使用 Pydantic 來定義預(yù)期的數(shù)據(jù)結(jié)構(gòu)。 以下是型號(hào)：

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

這些模型充當(dāng)模板，確保數(shù)據(jù)驗(yàn)證并提供清晰的文檔。

抓取過程

刮刀分兩個(gè)階段運(yùn)行：

1.抓取產(chǎn)品列表

首先，我們檢索搜索結(jié)果頁面：

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2.正在獲取產(chǎn)品詳細(xì)信息

接下來，對(duì)于每個(gè)產(chǎn)品 URL，我們獲取詳細(xì)信息：

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

結(jié)合各個(gè)階段

最后，我們整合兩個(gè)階段：

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

運(yùn)行爬蟲

執(zhí)行抓取工具的方法如下：

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

專業(yè)提示

1. 速率限制：尊重 Tokopedia 的服務(wù)器；在大規(guī)模抓取請(qǐng)求之間引入延遲。
2. 緩存：在開發(fā)過程中啟用crawl4ai的緩存（cache_mode=CacheMode.ENABLED）。
3. 錯(cuò)誤處理：為生產(chǎn)使用實(shí)現(xiàn)全面的錯(cuò)誤處理和重試機(jī)制。
4. API 密鑰： 將 Gemini API 密鑰安全地存儲(chǔ)在環(huán)境變量中，而不是直接存儲(chǔ)在代碼中。

后續(xù)步驟

這個(gè)刮刀可以擴(kuò)展到：

• 將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中。
• 監(jiān)控價(jià)格隨時(shí)間的變化。
• 分析產(chǎn)品趨勢(shì)和模式。
• 比較多家商店的價(jià)格。

結(jié)論

crawl4ai 基于 LLM 的提取與傳統(tǒng)方法相比顯著提高了網(wǎng)頁抓取的可維護(hù)性。 與 Pydantic 的集成確保了數(shù)據(jù)的準(zhǔn)確性和結(jié)構(gòu)。

在抓取之前始終遵守網(wǎng)站的robots.txt和服務(wù)條款。

重要鏈接：

爬行4AI

• 官方網(wǎng)站：http://m.miracleart.cn/link/1026d8c97a822ee171c6cbf939fe4aca
• GitHub 存儲(chǔ)庫：http://m.miracleart.cn/link/62c1b075041300455ec2b54495d93c99
• 文檔：http://m.miracleart.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/

皮丹蒂克

• 官方文檔：http://m.miracleart.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
• PyPI 頁面：http://m.miracleart.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
• GitHub 倉庫：http://m.miracleart.cn/link/22935fba49f7d80d5adf1cfa6b0344f4

注意：完整的代碼可以在Colab筆記本中找到。 請(qǐng)隨意嘗試并根據(jù)您的具體需求進(jìn)行調(diào)整。

以上是使用 Pydantic、Crawl 和 Gemini 構(gòu)建異步電子商務(wù)網(wǎng)絡(luò)爬蟲的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！