Python高效訪(fǎng)問(wèn)HTTP API：requests庫(kù)與請(qǐng)求緩存

本文節(jié)選自《實(shí)用Python》，作者Stuart演示了如何利用Python和幾個(gè)第三方模塊輕松訪(fǎng)問(wèn)HTTP API。

大多數(shù)情況下，處理第三方數(shù)據(jù)需要訪(fǎng)問(wèn)HTTP API，即向設(shè)計(jì)為機(jī)器讀取而非人工讀取的網(wǎng)頁(yè)發(fā)出HTTP請(qǐng)求。API數(shù)據(jù)通常采用機(jī)器可讀格式，通常為JSON或XML。 讓我們看看如何使用Python訪(fǎng)問(wèn)HTTP API。

使用HTTP API的基本原則很簡(jiǎn)單：

1. 向API的URL發(fā)出HTTP請(qǐng)求，可能包括一些身份驗(yàn)證信息（例如API密鑰）以證明我們已獲得授權(quán)。
2. 獲取數(shù)據(jù)。
3. 利用數(shù)據(jù)完成有用的操作。

Python標(biāo)準(zhǔn)庫(kù)提供了足夠的函數(shù)來(lái)完成所有這些操作，無(wú)需任何附加模塊，但如果我們使用幾個(gè)第三方模塊來(lái)簡(jiǎn)化流程，將會(huì)使我們的工作更輕松。第一個(gè)是requests模塊。這是一個(gè)用于Python的HTTP庫(kù)，它使獲取HTTP數(shù)據(jù)比Python內(nèi)置的urllib.request更便捷，可以使用python -m pip install requests安裝。

為了展示其易用性，我們將使用Pixabay的API（此處有文檔）。Pixabay是一個(gè)圖片網(wǎng)站，所有圖片都可以重復(fù)使用，這使其成為一個(gè)非常方便的資源。我們將關(guān)注水果圖片。稍后在操作文件時(shí)，我們將使用收集到的水果圖片，但現(xiàn)在我們只想找到水果圖片。

首先，我們將快速查看Pixabay上有哪些圖片可用。我們將抓取一百?gòu)垐D片，快速瀏覽它們，然后選擇我們想要的圖片。為此，我們需要一個(gè)Pixabay API密鑰，因此我們需要?jiǎng)?chuàng)建一個(gè)帳戶(hù)，然后從API文檔的“搜索圖片”部分獲取密鑰。

requests模塊

使用requests模塊向API發(fā)出HTTP請(qǐng)求的基本版本包括構(gòu)建HTTP URL、發(fā)出請(qǐng)求以及讀取響應(yīng)。此處，響應(yīng)采用JSON格式。requests模塊使每個(gè)步驟都非常簡(jiǎn)單。API參數(shù)是一個(gè)Python字典，get()函數(shù)發(fā)出調(diào)用，如果API返回JSON，requests會(huì)將其作為響應(yīng)中的.json提供。因此，簡(jiǎn)單的調(diào)用如下所示：

import requests

PIXABAY_API_KEY = "11111111-7777777777777777777777777"

base_url = "https://pixabay.com/api/"
base_params = {
    "key": PIXABAY_API_KEY,
    "q": "fruit",
    "image_type": "photo",
    "category": "food",
    "safesearch": "true"
}

response = requests.get(base_url, params=base_params)
results = response.json()

這將返回一個(gè)Python對(duì)象，正如API文檔所建議的那樣，我們可以查看其各個(gè)部分：

為了獲取一百個(gè)結(jié)果，我們可以簡(jiǎn)單地決定進(jìn)行五次調(diào)用，每次調(diào)用獲取20個(gè)結(jié)果，但這不夠穩(wěn)健。更好的方法是循環(huán)請(qǐng)求頁(yè)面，直到獲得所需的一百個(gè)結(jié)果，然后停止。這可以防止在Pixabay更改默認(rèn)結(jié)果數(shù)量（例如更改為15）時(shí)出現(xiàn)問(wèn)題。它還可以讓我們處理搜索詞沒(méi)有一百?gòu)垐D片的情況。因此，我們使用一個(gè)while循環(huán)，每次遞增頁(yè)碼，如果我們已經(jīng)達(dá)到100張圖片，或者沒(méi)有圖片可檢索，我們就退出循環(huán)：

緩存HTTP請(qǐng)求

避免多次向HTTP API發(fā)出相同的請(qǐng)求是個(gè)好主意。許多API都有使用限制，以避免被請(qǐng)求者過(guò)度使用，請(qǐng)求需要花費(fèi)時(shí)間和精力。我們應(yīng)該盡量避免重復(fù)之前的請(qǐng)求。幸運(yùn)的是，在使用Python的requests模塊時(shí)，有一種有用的方法可以做到這一點(diǎn)：使用python -m pip install requests-cache安裝requests-cache。這將無(wú)縫記錄我們進(jìn)行的任何HTTP調(diào)用并保存結(jié)果。然后，稍后如果我們?cè)俅芜M(jìn)行相同的調(diào)用，我們將獲得本地保存的結(jié)果，而無(wú)需再次訪(fǎng)問(wèn)API。這節(jié)省了時(shí)間和帶寬。要使用requests_cache，請(qǐng)導(dǎo)入它并創(chuàng)建一個(gè)CachedSession，然后使用session.get而不是requests.get來(lái)獲取URL，我們將無(wú)需額外努力即可獲得緩存的好處：

生成輸出

為了查看查詢(xún)結(jié)果，我們需要在某個(gè)地方顯示圖片。一種便捷的方法是創(chuàng)建一個(gè)簡(jiǎn)單的HTML頁(yè)面來(lái)顯示每個(gè)圖片。Pixabay提供了每個(gè)圖片的小縮略圖，它在API響應(yīng)中稱(chēng)為previewURL，因此我們可以創(chuàng)建一個(gè)HTML頁(yè)面來(lái)顯示所有這些縮略圖，并將它們鏈接到主要Pixabay頁(yè)面——我們可以從中選擇下載我們想要的圖片并為攝影師署名。因此，頁(yè)面中的每個(gè)圖片可能如下所示：

我們可以使用列表推導(dǎo)式從images列表構(gòu)建它，然后使用"n".join()將所有結(jié)果連接成一個(gè)大的字符串：

然后，如果我們寫(xiě)出一個(gè)包含該列表的非常簡(jiǎn)單的HTML頁(yè)面，則很容易在Web瀏覽器中打開(kāi)它，快速查看我們從API獲得的所有搜索結(jié)果，并單擊其中任何一個(gè)跳轉(zhuǎn)到完整的Pixabay頁(yè)面進(jìn)行下載：

本文節(jié)選自《實(shí)用Python》，可在SitePoint Premium和電子書(shū)零售商處購(gòu)買(mǎi)。

(以下為FAQs，已根據(jù)原文進(jìn)行改寫(xiě)和精簡(jiǎn))

關(guān)于使用Python的HTTP API獲取數(shù)據(jù)的常見(jiàn)問(wèn)題 (FAQs)

• HTTP和HTTPS的區(qū)別是什么？ HTTP是超文本傳輸協(xié)議，HTTPS是安全超文本傳輸協(xié)議。主要區(qū)別在于HTTPS使用SSL證書(shū)建立服務(wù)器和客戶(hù)端之間安全的加密連接，而HTTP則沒(méi)有。這使得HTTPS在傳輸敏感數(shù)據(jù)（如信用卡信息或登錄憑據(jù)）時(shí)更安全。

• Python中HTTP是如何工作的？ Python中可以使用多個(gè)庫(kù)發(fā)出HTTP請(qǐng)求，最常用的是requests。該庫(kù)允許您發(fā)送HTTP請(qǐng)求并處理響應(yīng)，包括處理Cookie、表單數(shù)據(jù)、多部分文件等等。它是與Web服務(wù)交互的強(qiáng)大工具，可用于各種應(yīng)用程序。

• 常見(jiàn)的HTTP方法有哪些？如何在Python中使用它們？ 最常見(jiàn)的HTTP方法是GET、POST、PUT、DELETE、HEAD、OPTIONS和PATCH。在Python中，可以使用requests庫(kù)使用這些方法。例如，要發(fā)送GET請(qǐng)求，可以使用requests.get(url)，要發(fā)送POST請(qǐng)求，可以使用requests.post(url, data)。

• 如何在Python中處理HTTP響應(yīng)？ 當(dāng)您使用requests庫(kù)在Python中發(fā)送HTTP請(qǐng)求時(shí)，會(huì)得到一個(gè)Response對(duì)象。此對(duì)象包含服務(wù)器對(duì)您請(qǐng)求的響應(yīng)。如果響應(yīng)采用JSON格式，您可以使用response.text或response.json()訪(fǎng)問(wèn)響應(yīng)的內(nèi)容。您還可以使用response.status_code檢查響應(yīng)的狀態(tài)代碼。

• 如何在Python中使用HTTP標(biāo)頭？ 通過(guò)將HTTP標(biāo)頭作為字典傳遞給requests函數(shù)的headers參數(shù)，可以在Python中使用它們。例如，requests.get(url, headers={'User-Agent': 'my-app'})。標(biāo)頭可用于提供有關(guān)請(qǐng)求或客戶(hù)端的其他信息，例如用戶(hù)代理、內(nèi)容類(lèi)型、授權(quán)等等。

• 如何在Python中處理Cookie？ 可以使用Response對(duì)象的cookies屬性在Python中處理Cookie。您可以使用response.cookies訪(fǎng)問(wèn)服務(wù)器發(fā)送的Cookie，并通過(guò)將Cookie作為字典傳遞給requests函數(shù)的cookies參數(shù)來(lái)將Cookie發(fā)送到服務(wù)器。

• 如何在Python中使用POST請(qǐng)求發(fā)送表單數(shù)據(jù)？ 通過(guò)將表單數(shù)據(jù)作為字典傳遞給requests.post函數(shù)的data參數(shù)，可以在Python中使用POST請(qǐng)求發(fā)送它。例如，requests.post(url, data={'key': 'value'})。requests庫(kù)將自動(dòng)以正確的格式編碼數(shù)據(jù)。

• 如何在Python中使用POST請(qǐng)求發(fā)送文件？ 通過(guò)將文件作為字典傳遞給requests.post函數(shù)的files參數(shù)，可以在Python中使用POST請(qǐng)求發(fā)送文件。字典應(yīng)包含文件字段的名稱(chēng)作為鍵，以及包含文件名和文件對(duì)象的元組作為值。

• 如何處理requests庫(kù)在Python中的錯(cuò)誤和異常？ Python中的requests庫(kù)會(huì)針對(duì)某些類(lèi)型的錯(cuò)誤（例如網(wǎng)絡(luò)錯(cuò)誤或超時(shí)）引發(fā)異常。您可以使用try/except塊捕獲這些異常并適當(dāng)?shù)靥幚硭鼈?。您還可以檢查響應(yīng)的狀態(tài)代碼來(lái)處理HTTP錯(cuò)誤。

• 如何在Python中發(fā)出異步HTTP請(qǐng)求？ 可以使用aiohttp庫(kù)在Python中發(fā)出異步HTTP請(qǐng)求。該庫(kù)允許您異步發(fā)送HTTP請(qǐng)求和處理響應(yīng)，這在處理大量請(qǐng)求時(shí)可以顯著提高應(yīng)用程序的性能。

以上是用Python從HTTP API獲取數(shù)據(jù)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！