国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

Jadual Kandungan
Akses kod lengkap di Google Colab
Mengapa Pilih Crawl4AI dan Pydantic?
Mengapa Sasaran Tokopedia?
Apakah yang membezakan Pendekatan Ini?
Menyediakan Persekitaran Pembangunan Anda
Mentakrifkan Model Data dengan Pydantic
Proses Mengikis
1. Penyenaraian Produk Merangkak
2. Mengambil Butiran Produk
Menggabungkan Peringkat
Menjalankan Pengikis
Petua Pro
Langkah Seterusnya
Kesimpulan
Pautan Penting:
Merangkak4AI
Pydantic
Nota: Kod lengkap tersedia dalam buku nota Colab. Jangan ragu untuk mencuba dan menyesuaikannya dengan keperluan khusus anda.
Rumah pembangunan bahagian belakang Tutorial Python Membina Pengikis Web E-Dagang Async dengan Pydantic, Crawl & Gemini

Membina Pengikis Web E-Dagang Async dengan Pydantic, Crawl & Gemini

Jan 12, 2025 am 06:25 AM

Building an Async E-Commerce Web Scraper with Pydantic, Crawl & Gemini

Ringkasnya: Panduan ini menunjukkan membina pengikis e-dagang menggunakan pengekstrakan berkuasa AI dan model data Pydantic crawl4ai. Pengikis secara tidak segerak mendapatkan kedua-dua penyenaraian produk (nama, harga) dan maklumat produk terperinci (spesifikasi, ulasan).

Akses kod lengkap di Google Colab


Bosan dengan kerumitan pengikisan web tradisional untuk analisis data e-dagang? Tutorial ini memudahkan proses menggunakan alat Python moden. Kami akan memanfaatkan crawl4ai untuk pengekstrakan data pintar dan Pydantic untuk pemodelan dan pengesahan data yang mantap.

Mengapa Pilih Crawl4AI dan Pydantic?

  • crawl4ai: Memperkemas rangkak dan mengikis web menggunakan kaedah pengekstrakan dipacu AI.
  • Pydantic: Menyediakan pengesahan data dan pengurusan skema, memastikan data terkikis berstruktur dan tepat.

Mengapa Sasaran Tokopedia?

Tokopedia, platform e-dagang utama Indonesia, menjadi contoh kami. (Nota: Pengarang adalah warga Indonesia dan pengguna platform, tetapi tidak bergabung.) Prinsip ini terpakai pada tapak e-dagang lain. Pendekatan mengikis ini bermanfaat untuk pembangun yang berminat dalam analisis e-dagang, penyelidikan pasaran atau pengumpulan data automatik.

Apakah yang membezakan Pendekatan Ini?

Daripada bergantung pada pemilih CSS kompleks atau XPath, kami menggunakan pengekstrakan berasaskan LLM crawl4ai. Ini menawarkan:

  • Meningkatkan daya tahan terhadap perubahan struktur tapak web.
  • Output data yang lebih bersih dan lebih berstruktur.
  • Mengurangkan overhed penyelenggaraan.

Menyediakan Persekitaran Pembangunan Anda

Mulakan dengan memasang pakej yang diperlukan:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Untuk pelaksanaan kod tak segerak dalam buku nota, kami juga akan menggunakan nest_asyncio:

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

Mentakrifkan Model Data dengan Pydantic

Kami menggunakan Pydantic untuk mentakrifkan struktur data yang dijangkakan. Berikut ialah modelnya:

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

Model ini berfungsi sebagai templat, memastikan pengesahan data dan menyediakan dokumentasi yang jelas.

Proses Mengikis

Pengikis beroperasi dalam dua fasa:

1. Penyenaraian Produk Merangkak

Pertama, kami mendapatkan semula halaman hasil carian:

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2. Mengambil Butiran Produk

Seterusnya, untuk setiap URL produk, kami mendapatkan maklumat terperinci:

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

Menggabungkan Peringkat

Akhir sekali, kami menyepadukan kedua-dua fasa:

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

Menjalankan Pengikis

Berikut ialah cara untuk melaksanakan pengikis:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Petua Pro

  1. Penghadan Kadar: Hormati pelayan Tokopedia; memperkenalkan kelewatan antara permintaan untuk mengikis berskala besar.
  2. Caching: Dayakan caching crawl4ai semasa pembangunan (cache_mode=CacheMode.ENABLED).
  3. Pengendalian Ralat: Laksanakan mekanisme pengendalian ralat dan cuba semula yang komprehensif untuk kegunaan pengeluaran.
  4. Kunci API: Simpan kunci API Gemini dengan selamat dalam pembolehubah persekitaran, bukan terus dalam kod.

Langkah Seterusnya

Pengikis ini boleh dipanjangkan kepada:

  • Simpan data dalam pangkalan data.
  • Pantau perubahan harga dari semasa ke semasa.
  • Analisis trend dan corak produk.
  • Bandingkan harga merentas berbilang kedai.

Kesimpulan

Pengekstrakan berasaskan LLM crawl4ai dengan ketara meningkatkan kebolehselenggaraan mengikis web berbanding kaedah tradisional. Penyepaduan dengan Pydantic memastikan ketepatan dan struktur data.

Sentiasa mematuhi robots.txt dan syarat perkhidmatan tapak web sebelum mengikis.


Pautan Penting:

Merangkak4AI

Pydantic


Nota: Kod lengkap tersedia dalam buku nota Colab. Jangan ragu untuk mencuba dan menyesuaikannya dengan keperluan khusus anda.

Atas ialah kandungan terperinci Membina Pengikis Web E-Dagang Async dengan Pydantic, Crawl & Gemini. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimanakah rangka kerja Python atau PyTest memudahkan ujian automatik? Bagaimanakah rangka kerja Python atau PyTest memudahkan ujian automatik? Jun 19, 2025 am 01:10 AM

Python's Unittest and Pytest adalah dua kerangka ujian yang digunakan secara meluas yang memudahkan penulisan, penganjuran dan menjalankan ujian automatik. 1. Kedua -duanya menyokong penemuan automatik kes ujian dan menyediakan struktur ujian yang jelas: Unittest mentakrifkan ujian dengan mewarisi kelas ujian dan bermula dengan ujian \ _; Pytest lebih ringkas, hanya memerlukan fungsi bermula dengan ujian \ _. 2. Mereka semua mempunyai sokongan dakwaan terbina dalam: Unittest menyediakan kaedah AssertEqual, AssertTrue dan lain-lain, manakala PYTest menggunakan pernyataan menegaskan yang dipertingkatkan untuk memaparkan butiran kegagalan secara automatik. 3. Semua mempunyai mekanisme untuk mengendalikan penyediaan ujian dan pembersihan: un

Bagaimanakah Python boleh digunakan untuk analisis data dan manipulasi dengan perpustakaan seperti numpy dan panda? Bagaimanakah Python boleh digunakan untuk analisis data dan manipulasi dengan perpustakaan seperti numpy dan panda? Jun 19, 2025 am 01:04 AM

Pythonisidealfordataanalysisysisduetonumpyandpandas.1) numpyexcelsatnumericalcomputationswithfast, multi-dimensiArarraySandvectorizedoperationsLikenp.sqrt ()

Apakah teknik pengaturcaraan dinamik, dan bagaimana saya menggunakannya dalam Python? Apakah teknik pengaturcaraan dinamik, dan bagaimana saya menggunakannya dalam Python? Jun 20, 2025 am 12:57 AM

Pengaturcaraan Dinamik (DP) mengoptimumkan proses penyelesaian dengan memecahkan masalah kompleks ke dalam subproblem yang lebih mudah dan menyimpan hasilnya untuk mengelakkan pengiraan berulang. Terdapat dua kaedah utama: 1. Top-down (Hafalan): Recursif menguraikan masalah dan menggunakan cache untuk menyimpan hasil pertengahan; 2. Bottom-Up (Jadual): Bangun secara beransur-ansur dari keadaan asas. Sesuai untuk senario di mana nilai maksimum/minimum, penyelesaian optimum atau subproblem yang bertindih diperlukan, seperti urutan Fibonacci, masalah backpacking, dan lain -lain.

Bagaimana anda boleh melaksanakan iterators tersuai di Python menggunakan __iter__ dan __Next__? Bagaimana anda boleh melaksanakan iterators tersuai di Python menggunakan __iter__ dan __Next__? Jun 19, 2025 am 01:12 AM

Untuk melaksanakan iterator tersuai, anda perlu menentukan kaedah __iter__ dan __Next__ di dalam kelas. ① Kaedah __iter__ mengembalikan objek iterator itu sendiri, biasanya diri sendiri, bersesuaian dengan persekitaran berulang seperti untuk gelung; ② Kaedah __Next__ mengawal nilai setiap lelaran, mengembalikan elemen seterusnya dalam urutan, dan apabila tidak ada lagi item, pengecualian hentian harus dibuang; ③ Status mesti dikesan dengan betul dan keadaan penamatan mesti ditetapkan untuk mengelakkan gelung tak terhingga; ④ Logik kompleks seperti penapisan talian fail, dan perhatikan pembersihan sumber dan pengurusan memori; ⑤ Untuk logik mudah, anda boleh mempertimbangkan menggunakan hasil fungsi penjana sebaliknya, tetapi anda perlu memilih kaedah yang sesuai berdasarkan senario tertentu.

Apakah trend yang muncul atau arahan masa depan dalam bahasa pengaturcaraan Python dan ekosistemnya? Apakah trend yang muncul atau arahan masa depan dalam bahasa pengaturcaraan Python dan ekosistemnya? Jun 19, 2025 am 01:09 AM

Trend masa depan dalam Python termasuk pengoptimuman prestasi, jenis yang lebih kuat, peningkatan runtime alternatif, dan pertumbuhan berterusan bidang AI/ML. Pertama, Cpython terus mengoptimumkan, meningkatkan prestasi melalui masa permulaan yang lebih cepat, pengoptimuman panggilan fungsi dan operasi integer yang dicadangkan; Kedua, jenis petikan sangat terintegrasi ke dalam bahasa dan alat untuk meningkatkan pengalaman keselamatan dan pembangunan kod; Ketiga, runtime alternatif seperti Pyscript dan Nuitka menyediakan fungsi baru dan kelebihan prestasi; Akhirnya, bidang AI dan Sains Data terus berkembang, dan perpustakaan yang muncul mempromosikan pembangunan dan integrasi yang lebih cekap. Trend ini menunjukkan bahawa Python sentiasa menyesuaikan diri dengan perubahan teknologi dan mengekalkan kedudukan utama.

Bagaimana saya melakukan pengaturcaraan rangkaian di python menggunakan soket? Bagaimana saya melakukan pengaturcaraan rangkaian di python menggunakan soket? Jun 20, 2025 am 12:56 AM

Modul soket Python adalah asas pengaturcaraan rangkaian, menyediakan fungsi komunikasi rangkaian peringkat rendah, sesuai untuk membina aplikasi klien dan pelayan. Untuk menyediakan pelayan TCP asas, anda perlu menggunakan socket.socket () untuk membuat objek, mengikat alamat dan port, panggilan. Listen () untuk mendengar sambungan, dan menerima sambungan klien melalui .accept (). Untuk membina klien TCP, anda perlu membuat objek soket dan panggilan .Connect () untuk menyambung ke pelayan, kemudian gunakan .sendall () untuk menghantar data dan .recv () untuk menerima respons. Untuk mengendalikan pelbagai pelanggan, anda boleh menggunakan 1. Threads: Mulakan benang baru setiap kali anda menyambung; 2. Asynchronous I/O: Sebagai contoh, Perpustakaan Asyncio dapat mencapai komunikasi yang tidak menyekat. Perkara yang perlu diperhatikan

Polimorfisme dalam kelas python Polimorfisme dalam kelas python Jul 05, 2025 am 02:58 AM

Polimorfisme adalah konsep teras dalam pengaturcaraan berorientasikan objek Python, merujuk kepada "satu antara muka, pelbagai pelaksanaan", yang membolehkan pemprosesan bersatu pelbagai jenis objek. 1. Polimorfisme dilaksanakan melalui penulisan semula kaedah. Subkelas boleh mentakrifkan semula kaedah kelas induk. Sebagai contoh, kaedah bercakap () kelas haiwan mempunyai pelaksanaan yang berbeza dalam subkelas anjing dan kucing. 2. Penggunaan praktikal polimorfisme termasuk memudahkan struktur kod dan meningkatkan skalabilitas, seperti memanggil kaedah cabutan () secara seragam dalam program lukisan grafik, atau mengendalikan tingkah laku umum watak -watak yang berbeza dalam pembangunan permainan. 3. Polimorfisme pelaksanaan Python perlu memenuhi: Kelas induk mentakrifkan kaedah, dan kelas kanak -kanak mengatasi kaedah, tetapi tidak memerlukan warisan kelas induk yang sama. Selagi objek melaksanakan kaedah yang sama, ini dipanggil "jenis itik". 4. Perkara yang perlu diperhatikan termasuk penyelenggaraan

Bagaimana saya mengiris senarai dalam python? Bagaimana saya mengiris senarai dalam python? Jun 20, 2025 am 12:51 AM

Jawapan teras kepada pengirim senarai Python adalah menguasai sintaks [Start: End: Step] dan memahami kelakuannya. 1. Format asas pengirim senarai adalah senarai [Mula: akhir: langkah], di mana permulaan adalah indeks permulaan (termasuk), akhir adalah indeks akhir (tidak termasuk), dan langkah adalah saiz langkah; 2. Omit Mula secara lalai bermula dari 0, endek akhir secara lalai hingga akhir, omite langkah secara lalai kepada 1; 3. Gunakan my_list [: n] untuk mendapatkan item n pertama, dan gunakan my_list [-n:] untuk mendapatkan item n yang terakhir; 4. Gunakan langkah untuk melangkau unsur -unsur, seperti my_list [:: 2] untuk mendapatkan angka, dan nilai langkah negatif dapat membalikkan senarai; 5. Kesalahpahaman biasa termasuk indeks akhir tidak

See all articles