


Python utilise le module lxml et le module Requests pour explorer les pages HTML
Mar 02, 2017 pm 04:37 PMWeb抓取
Web站點使用HTML描述,這意味著每個web頁面是一個結(jié)構(gòu)化的文檔。有時從中 獲取數(shù)據(jù)同時保持它的結(jié)構(gòu)是有用的。web站點不總是以容易處理的格式, 如 csv 或者 json 提供它們的數(shù)據(jù)。
這正是web抓取出場的時機(jī)。Web抓取是使用計算機(jī)程序?qū)eb頁面數(shù)據(jù)進(jìn)行收集 并整理成所需格式,同時保存其結(jié)構(gòu)的實踐。
lxml和Requests
lxml(http://lxml.de/)是一個優(yōu)美的擴(kuò)展庫,用來快速解析XML以及HTML文檔 即使所處理的標(biāo)簽非?;靵y。我們也將使用 Requests (http://docs.python-requests.org/en/latest/#)模塊取代內(nèi)建的urllib2模塊,因為其速度更快而且可讀性更好。你可以通過使用 pip install lxml 與 pip install requests 命令來安裝這兩個模塊。
讓我們以下面的導(dǎo)入開始:
from lxml import html import requests
下一步我們將使用 requests.get 來從web頁面中取得我們的數(shù)據(jù), 通過使用 html 模塊解析它,并將結(jié)果保存到 tree 中。
page = requests.get('http://econpy.pythonanywhere.com/ex/001.html') tree = html.fromstring(page.text)
tree 現(xiàn)在包含了整個HTML文件到一個優(yōu)雅的樹結(jié)構(gòu)中,我們可以使用兩種 方法訪問:XPath以及CSS選擇器。在這個例子中,我們將選擇前者。
XPath是一種在結(jié)構(gòu)化文檔(如HTML或XML)中定位信息的方式。一個關(guān)于XPath的 不錯的介紹參見 W3Schools 。
有很多工具可以獲取元素的XPath,如Firefox的FireBug或者Chrome的Inspector。 如果你使用Chrome,你可以右鍵元素,選擇 ‘Inspect element',高亮這段代碼, 再次右擊,并選擇 ‘Copy XPath'。
在進(jìn)行一次快速分析后,我們看到在頁面中的數(shù)據(jù)保存在兩個元素中,一個是title是 ‘buyer-name' 的p,另一個class是 ‘item-price' 的span:
<p title="buyer-name">Carson Busses</p> <span class="item-price">$29.95</span>
知道這個后,我們可以創(chuàng)建正確的XPath查詢并且使用lxml的 xpath 函數(shù), 像下面這樣:
#這將創(chuàng)建buyers的列表: buyers = tree.xpath('//p[@title="buyer-name"]/text()') #這將創(chuàng)建prices的列表: prices = tree.xpath('//span[@class="item-price"]/text()')
讓我們看看我們得到了什么:
print 'Buyers: ', buyers print 'Prices: ', prices Buyers: ['Carson Busses', 'Earl E. Byrd', 'Patty Cakes', 'Derri Anne Connecticut', 'Moe Dess', 'Leda Doggslife', 'Dan Druff', 'Al Fresco', 'Ido Hoe', 'Howie Kisses', 'Len Lease', 'Phil Meup', 'Ira Pent', 'Ben D. Rules', 'Ave Sectomy', 'Gary Shattire', 'Bobbi Soks', 'Sheila Takya', 'Rose Tattoo', 'Moe Tell'] Prices: ['$29.95', '$8.37', '$15.26', '$19.25', '$19.25', '$13.99', '$31.57', '$8.49', '$14.47', '$15.86', '$11.11', '$15.98', '$16.27', '$7.50', '$50.85', '$14.26', '$5.68', '$15.00', '$114.07', '$10.09']
恭喜!我們已經(jīng)成功地通過lxml與Request,從一個web頁面中抓取了所有我們想要的 數(shù)據(jù)。我們將它們以列表的形式存在內(nèi)存中?,F(xiàn)在我們可以對它做各種很酷的事情了: 我們可以使用Python分析它,或者我們可以將之保存為一個文件并向世界分享。
我們可以考慮一些更酷的想法:修改這個腳本來遍歷該例數(shù)據(jù)集中剩余的頁面,或者 使用多線程重寫這個應(yīng)用從而提升它的速度。
更多Python使用lxml模塊和Requests模塊抓取HTML頁面相關(guān)文章請關(guān)注PHP中文網(wǎng)!

Outils d'IA chauds

Undress AI Tool
Images de déshabillage gratuites

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!

Article chaud

Outils chauds

Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

La clé pour gérer l'authentification de l'API est de comprendre et d'utiliser correctement la méthode d'authentification. 1. Apikey est la méthode d'authentification la plus simple, généralement placée dans l'en-tête de demande ou les paramètres d'URL; 2. BasicAuth utilise le nom d'utilisateur et le mot de passe pour la transmission de codage Base64, qui convient aux systèmes internes; 3. OAuth2 doit d'abord obtenir le jeton via client_id et client_secret, puis apporter le Bearertoken dans l'en-tête de demande; 4. Afin de gérer l'expiration des jetons, la classe de gestion des jetons peut être encapsulée et rafra?chie automatiquement le jeton; En bref, la sélection de la méthode appropriée en fonction du document et le stockage en toute sécurité des informations clés sont la clé.

Une méthode courante pour parcourir deux listes simultanément dans Python consiste à utiliser la fonction zip (), qui appariera plusieurs listes dans l'ordre et sera la plus courte; Si la longueur de liste est incohérente, vous pouvez utiliser itertools.zip_langest () pour être le plus long et remplir les valeurs manquantes; Combiné avec enumerate (), vous pouvez obtenir l'index en même temps. 1.zip () est concis et pratique, adapté à l'itération des données appariées; 2.zip_langest () peut remplir la valeur par défaut lorsqu'il s'agit de longueurs incohérentes; 3. L'énumération (zip ()) peut obtenir des indices pendant la traversée, en répondant aux besoins d'une variété de scénarios complexes.

Inpython, itérateurslawjectsThatallowloopingthroughCollectionsbyImpleting __iter __ () et__Next __ (). 1) iteratorsworkVeatheitorat

Pour créer des API modernes et efficaces à l'aide de Python, FastAPI est recommandé; Il est basé sur des invites de type Python standard et peut générer automatiquement des documents, avec d'excellentes performances. Après avoir installé FastAPI et ASGI Server Uvicorn, vous pouvez écrire du code d'interface. En définissant les itinéraires, en écrivant des fonctions de traitement et en renvoyant des données, les API peuvent être rapidement construites. Fastapi prend en charge une variété de méthodes HTTP et fournit des systèmes de documentation SwaggerUI et Redoc générés automatiquement. Les paramètres d'URL peuvent être capturés via la définition du chemin, tandis que les paramètres de requête peuvent être implémentés en définissant des valeurs par défaut pour les paramètres de fonction. L'utilisation rationnelle des modèles pydantiques peut aider à améliorer l'efficacité du développement et la précision.

Pour tester l'API, vous devez utiliser la bibliothèque des demandes de Python. Les étapes consistent à installer la bibliothèque, à envoyer des demandes, à vérifier les réponses, à définir des délais d'attente et à réessayer. Tout d'abord, installez la bibliothèque via PiPinstallRequests; Utilisez ensuite les demandes.get () ou les demandes.Post () et d'autres méthodes pour envoyer des demandes GET ou POST; Vérifiez ensuite la réponse.status_code et la réponse.json () pour vous assurer que le résultat de retour est en conformité avec les attentes; Enfin, ajoutez des paramètres de délai d'expiration pour définir l'heure du délai d'expiration et combinez la bibliothèque de réessayer pour obtenir une nouvelle tentative automatique pour améliorer la stabilité.

Dans Python, les variables définies à l'intérieur d'une fonction sont des variables locales et ne sont valides que dans la fonction; Les variables globales sont définies à l'extérieur qui peuvent être lues n'importe où. 1. Les variables locales sont détruites lors de l'exécution de la fonction; 2. La fonction peut accéder aux variables globales mais ne peut pas être modifiée directement, donc le mot-clé global est requis; 3. Si vous souhaitez modifier les variables de fonction externes dans les fonctions imbriquées, vous devez utiliser le mot-clé non local; 4. Les variables avec le même nom ne se affectent pas dans différentes lunettes; 5. Global doit être déclaré lors de la modification des variables globales, sinon une erreur non liée à la dorsale sera augmentée. Comprendre ces règles permet d'éviter les bogues et d'écrire des fonctions plus fiables.

Oui, vous pouvez analyser les tables HTML à l'aide de Python et Pandas. Tout d'abord, utilisez la fonction pandas.read_html () pour extraire la table, ce qui peut analyser les éléments HTML dans une page Web ou une cha?ne dans une liste de dataframe; Ensuite, si la table n'a pas de titre de colonne claire, il peut être corrigé en spécifiant les paramètres d'en-tête ou en définissant manuellement l'attribut .Columns; Pour les pages complexes, vous pouvez combiner la bibliothèque de requêtes pour obtenir du contenu HTML ou utiliser BeautifulSoup pour localiser des tables spécifiques; Faites attention à des pièges communs tels que le rendu JavaScript, les problèmes de codage et la reconnaissance multi-table.

La fa?on d'accéder aux objets JSON imbriqués dans Python est de clarifier d'abord la structure, puis d'indexer la couche par couche. Tout d'abord, confirmez la relation hiérarchique de JSON, comme un dictionnaire ou une liste imbriquée du dictionnaire; Utilisez ensuite les clés du dictionnaire et la liste d'index pour accéder à la couche par couche, telles que les données "détails" ["zip"] pour obtenir le codage zip, les données "Détails" [0] pour obtenir le premier passe-temps; Pour éviter KeyError et IndexError, la valeur par défaut peut être définie par la méthode .get (), ou la fonction d'encapsulation Safe_get peut être utilisée pour obtenir un accès sécurisé; Pour des structures complexes, recherchez ou utilisez des bibliothèques tierces telles que JMESPath pour gérer.
