国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

目錄
在 Google Colab 上存取完整程式碼
為什麼選擇 Crawl4AI 和 Pydantic?
為什麼瞄準 Tokopedia?
是什麼讓這種方法與眾不同?
設定您的開發(fā)環(huán)境
使用 Pydantic 定義資料模型
抓取過程
1.抓取產品清單
2.正在取得產品詳細資訊
結合各階段
運行爬蟲
專業(yè)提示
後續(xù)步驟
結論
重要連結:
爬4AI
皮丹蒂克
注意:完整的程式碼可以在Colab筆記本中找到。 請隨意嘗試並根據您的具體需求進行調整。
首頁 後端開發(fā) Python教學 使用 Pydantic、Crawl 和 Gemini 建立非同步電子商務網路爬蟲

使用 Pydantic、Crawl 和 Gemini 建立非同步電子商務網路爬蟲

Jan 12, 2025 am 06:25 AM

Building an Async E-Commerce Web Scraper with Pydantic, Crawl & Gemini

簡而言之: 本指南示範如何使用crawl4ai 的人工智慧擷取和 Pydantic 資料模型建立電子商務抓取工具。 抓取工具非同步檢索產品清單(名稱、價格)和詳細的產品資訊(規(guī)格、評論)。

在 Google Colab 上存取完整程式碼


厭倦了電子商務資料分析的傳統網路抓取的複雜性?本教學使用現代 Python 工具簡化了這個過程。我們將利用 crawl4ai 進行智慧資料擷取,並利用 Pydantic 進行穩(wěn)健的資料建模和驗證。

為什麼選擇 Crawl4AI 和 Pydantic?

  • crawl4ai:使用人工智慧驅動的提取方法來簡化網路爬行和抓取。
  • Pydantic:提供資料驗證和模式管理,確保抓取的資料結構化且準確。

為什麼瞄準 Tokopedia?

印尼主要電商平臺Tokopedia就是我們的例子。 (註:作者是印尼人,也是該平臺的用戶,但不隸屬於該平臺。)這些原則適用於其他電子商務網站。 這種抓取方法對於對電子商務分析、市場研究或自動資料收集感興趣的開發(fā)人員來說是有益的。

是什麼讓這種方法與眾不同?

我們不依賴複雜的CSS選擇器或XPath,而是利用crawl4ai基於LLM的提取。這提供:

  • 增強了對網站結構變化的適應能力。
  • 更清晰、更結構化的資料輸出。
  • 減少維修開銷。

設定您的開發(fā)環(huán)境

先安裝必要的軟體包:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

對於筆記本中的非同步程式碼執(zhí)行,我們也會使用 nest_asyncio:

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

使用 Pydantic 定義資料模型

我們使用 Pydantic 來定義預期的資料結構。 以下是型號:

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

這些模型充當模板,確保資料驗證並提供清晰的文件。

抓取過程

刮刀分兩階段運作:

1.抓取產品清單

首先,我們先檢索搜尋結果頁:

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2.正在取得產品詳細資訊

接下來,對於每個產品 URL,我們會取得詳細資訊:

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

結合各階段

最後,我們整合兩個階段:

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

運行爬蟲

執(zhí)行抓取工具的方法如下:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

專業(yè)提示

  1. 速率限制:尊重 Tokopedia 的伺服器;在大規(guī)模抓取請求之間引入延遲。
  2. 快?。?/strong>在開發(fā)過程中啟用crawl4ai的快取(cache_mode=CacheMode.ENABLED)。
  3. 錯誤處理:為生產使用實現全面的錯誤處理和重試機制。
  4. API 金鑰: 將 Gemini API 金鑰安全地儲存在環(huán)境變數中,而不是直接儲存在程式碼中。

後續(xù)步驟

這個刮刀可以擴展到:

  • 將資料儲存在資料庫中。
  • 監(jiān)控價格隨時間的變化。
  • 分析產品趨勢與模式。
  • 比較多家商店的價格。

結論

crawl4ai 基於 LLM 的提取與傳統方法相比顯著提高了網頁抓取的可維護性。 與 Pydantic 的整合確保了數據的準確性和結構。

在抓取之前始終遵守網站的robots.txt和服務條款。


重要連結:

爬4AI

皮丹蒂克


注意:完整的程式碼可以在Colab筆記本中找到。 請隨意嘗試並根據您的具體需求進行調整。

以上是使用 Pydantic、Crawl 和 Gemini 建立非同步電子商務網路爬蟲的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發(fā)現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創(chuàng)建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發(fā)環(huán)境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發(fā)工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

Python的UNITDEST或PYTEST框架如何促進自動測試? Python的UNITDEST或PYTEST框架如何促進自動測試? Jun 19, 2025 am 01:10 AM

Python的unittest和pytest是兩種廣泛使用的測試框架,它們都簡化了自動化測試的編寫、組織和運行。 1.二者均支持自動發(fā)現測試用例並提供清晰的測試結構:unittest通過繼承TestCase類並以test\_開頭的方法定義測試;pytest則更為簡潔,只需以test\_開頭的函數即可。 2.它們都內置斷言支持:unittest提供assertEqual、assertTrue等方法,而pytest使用增強版的assert語句,能自動顯示失敗詳情。 3.均具備處理測試準備與清理的機制:un

如何將Python用於數據分析和與Numpy和Pandas等文庫進行操作? 如何將Python用於數據分析和與Numpy和Pandas等文庫進行操作? Jun 19, 2025 am 01:04 AM

pythonisidealfordataanalysisionduetonumpyandpandas.1)numpyExccelSatnumericalComputationswithFast,多dimensionalArraysAndRaysAndOrsAndOrsAndOffectorizedOperationsLikenp.sqrt()

什麼是動態(tài)編程技術,如何在Python中使用它們? 什麼是動態(tài)編程技術,如何在Python中使用它們? Jun 20, 2025 am 12:57 AM

動態(tài)規(guī)劃(DP)通過將復雜問題分解為更簡單的子問題並存儲其結果以避免重複計算,來優(yōu)化求解過程。主要方法有兩種:1.自頂向下(記憶化):遞歸分解問題,使用緩存存儲中間結果;2.自底向上(表格化):從基礎情況開始迭代構建解決方案。適用於需要最大/最小值、最優(yōu)解或存在重疊子問題的場景,如斐波那契數列、背包問題等。在Python中,可通過裝飾器或數組實現,並應注意識別遞推關係、定義基準情況及優(yōu)化空間複雜度。

如何使用__ITER__和__NEXT __在Python中實現自定義迭代器? 如何使用__ITER__和__NEXT __在Python中實現自定義迭代器? Jun 19, 2025 am 01:12 AM

要實現自定義迭代器,需在類中定義__iter__和__next__方法。 ①__iter__方法返回迭代器對象自身,通常為self,以兼容for循環(huán)等迭代環(huán)境;②__next__方法控制每次迭代的值,返回序列中的下一個元素,當無更多項時應拋出StopIteration異常;③需正確跟蹤狀態(tài)並設置終止條件,避免無限循環(huán);④可封裝複雜邏輯如文件行過濾,同時注意資源清理與內存管理;⑤對簡單邏輯可考慮使用生成器函數yield替代,但需結合具體場景選擇合適方式。

Python編程語言及其生態(tài)系統的新興趨勢或未來方向是什麼? Python編程語言及其生態(tài)系統的新興趨勢或未來方向是什麼? Jun 19, 2025 am 01:09 AM

Python的未來趨勢包括性能優(yōu)化、更強的類型提示、替代運行時的興起及AI/ML領域的持續(xù)增長。首先,CPython持續(xù)優(yōu)化,通過更快的啟動時間、函數調用優(yōu)化及擬議中的整數操作改進提升性能;其次,類型提示深度集成至語言與工具鏈,增強代碼安全性與開發(fā)體驗;第三,PyScript、Nuitka等替代運行時提供新功能與性能優(yōu)勢;最後,AI與數據科學領域持續(xù)擴張,新興庫推動更高效的開發(fā)與集成。這些趨勢表明Python正不斷適應技術變化,保持其領先地位。

如何使用插座在Python中執(zhí)行網絡編程? 如何使用插座在Python中執(zhí)行網絡編程? Jun 20, 2025 am 12:56 AM

Python的socket模塊是網絡編程的基礎,提供低級網絡通信功能,適用於構建客戶端和服務器應用。要設置基本TCP服務器,需使用socket.socket()創(chuàng)建對象,綁定地址和端口,調用.listen()監(jiān)聽連接,並通過.accept()接受客戶端連接。構建TCP客戶端需創(chuàng)建socket對像後調用.connect()連接服務器,再使用.sendall()發(fā)送數據和??.recv()接收響應。處理多個客戶端可通過1.線程:每次連接啟動新線程;2.異步I/O:如asyncio庫實現無阻塞通信。注意事

Python類中的多態(tài)性 Python類中的多態(tài)性 Jul 05, 2025 am 02:58 AM

多態(tài)是Python面向對象編程中的核心概念,指“一種接口,多種實現”,允許統一處理不同類型的對象。 1.多態(tài)通過方法重寫實現,子類可重新定義父類方法,如Animal類的speak()方法在Dog和Cat子類中有不同實現。 2.多態(tài)的實際用途包括簡化代碼結構、增強可擴展性,例如圖形繪製程序中統一調用draw()方法,或遊戲開發(fā)中處理不同角色的共同行為。 3.Python實現多態(tài)需滿足:父類定義方法,子類重寫該方法,但不要求繼承同一父類,只要對象實現相同方法即可,這稱為“鴨子類型”。 4.注意事項包括保持方

如何在Python中切片列表? 如何在Python中切片列表? Jun 20, 2025 am 12:51 AM

Python列表切片的核心答案是掌握[start:end:step]語法並理解其行為。 1.列表切片的基本格式為list[start:end:step],其中start是起始索引(包含)、end是結束索引(不包含)、step是步長;2.省略start默認從0開始,省略end默認到末尾,省略step默認為1;3.獲取前n項用my_list[:n],獲取後n項用my_list[-n:];4.使用step可跳過元素,如my_list[::2]取偶數位,負step值可反轉列表;5.常見誤區(qū)包括end索引不

See all articles