使用selenium 撰寫爬蟲讀取網(wǎng)頁內(nèi)容是很常見的需求，不過你可能會遇到需要先登入帳號才能爬取內(nèi)容的網(wǎng)頁，像是博客來上限制級的書就是這樣的例子，你會看到如下的交談窗：
由于登入帳號后會利用 cookie 記錄已登入資訊，為了讀取這樣的網(wǎng)頁，我們可以先手動登入，登入之后匯出 cookie 到檔案。之后利用 selenium 爬取網(wǎng)頁時，再將匯出的 cookie 重新加入，重新整理網(wǎng)頁即可正常讀取網(wǎng)頁內(nèi)容了。
匯出 cookie
請先利用 selenium 開啟欲讀取的網(wǎng)頁，這里以博客來為例：
>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')
這時請依照正常程序登入會員，然后安裝 cookie_editor 外掛：
請記得切回博客來的首頁，利用外掛以 JSON 格式匯出所有的 cookie：
它會將 cookie 內(nèi)容復(fù)制到剪貼簿上，請自行貼到文字編輯器存檔。
重新加入 cookie
接著把 selenium 關(guān)閉，再重新開啟：
>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')
要加入 cookie，一定要在跟 Cookie 相同網(wǎng)域的網(wǎng)頁，所以要記得先開啟博客來網(wǎng)頁。接著就可以開啟儲存 cookie 的檔案，載入成為 Pytho 的字典：
>>> import json
>>> with open('cookies.json') as f:
... cookies = json.load(f)
再把 cookie 一一加回去：
>>> for cookie in cookies: ... driver.add_cookie(cookie)
這時你應(yīng)該會看到以下的錯誤：
Traceback (most recent call last):
File "<stdin>", line 3, in <module>
File "C:\Users\meebo\code\python\poetry_env\py310\.venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 670, in add_cookie
assert cookie_dict["sameSite"] in ["Strict", "Lax", "None"]
AssertionError
這是因?yàn)閏ookie-editor 匯出的資料中，在sameSite 屬性中是以null 表示"no_restriction" 表示沒有限制一定要是同一個網(wǎng)站，但是selenium 只認(rèn)得"Strict", "Lax", "None"這三種限制，所以診斷為錯誤，我們必須手動修改JSON 檔，自行把所有sameSite 屬性值都改為"None"（注意是字串喔），也請檢查把網(wǎng)域不是".books.com.tw " 的cookie 刪除：
[
{
"domain": ".books.com.tw",
"expirationDate": 1767941747.633402,
"hostOnly": false,
"httpOnly": false,
"name": "_ga_TR763QQ559",
"path": "/",
"sameSite": null,
"secure": false,
"session": false,
"storeId": null,
"value": "GS1.1.1733381542.1.1.1733381747.0.0.0"
},
...
{
"domain": ".books.com.tw",
"expirationDate": 1748933733,
"hostOnly": false,
"httpOnly": false,
"name": "__eoi",
"path": "/",
"sameSite": "no_restriction",
"secure": true,
"session": false,
"storeId": null,
"value": "ID=7f42c4647467b5fb:T=1733381733:RT=1733381733:S=AA-AfjbpJCe1kw2klEX0xW55n9CY"
},
...
]
修改完之后，重新載入并加入 cookie 就不會出錯了。
重新整理網(wǎng)頁讓 cookie 生效
加入 cookie 后，你看到的畫面仍然是未登入的畫面：
必須重新整理網(wǎng)頁才能讓 cookie 生效：
>>> driver.refresh()
看到的就是登入會員的頁面了：
這樣就可以利用 selenium 讀取需要登入會員的頁面了。
最后要提醒的就是 cookie 都有時效，如果一段時間過后無法利用之前儲存的 cookie 登入，只要重新依據(jù)上述步驟重新取得 cookie 就可以了。
以上是使用 selenium 讀取需要登入會員的網(wǎng)頁的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費(fèi)的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費(fèi)的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強(qiáng)大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
Python的UNITDEST或PYTEST框架如何促進(jìn)自動測試？
Jun 19, 2025 am 01:10 AM
Python的unittest和pytest是兩種廣泛使用的測試框架，它們都簡化了自動化測試的編寫、組織和運(yùn)行。1.二者均支持自動發(fā)現(xiàn)測試用例并提供清晰的測試結(jié)構(gòu)：unittest通過繼承TestCase類并以test\_開頭的方法定義測試；pytest則更為簡潔，只需以test\_開頭的函數(shù)即可。2.它們都內(nèi)置斷言支持：unittest提供assertEqual、assertTrue等方法，而pytest使用增強(qiáng)版的assert語句，能自動顯示失敗詳情。3.均具備處理測試準(zhǔn)備與清理的機(jī)制：un
如何將Python用于數(shù)據(jù)分析和與Numpy和Pandas等文庫進(jìn)行操作？
Jun 19, 2025 am 01:04 AM
pythonisidealfordataanalysisionduetonumpyandpandas.1）numpyExccelSatnumericalComputationswithFast，多dimensionalArraysAndRaysAndOrsAndOrsAndOffectorizedOperationsLikenp.sqrt（）
什么是動態(tài)編程技術(shù)，如何在Python中使用它們？
Jun 20, 2025 am 12:57 AM
動態(tài)規(guī)劃（DP）通過將復(fù)雜問題分解為更簡單的子問題并存儲其結(jié)果以避免重復(fù)計算，來優(yōu)化求解過程。主要方法有兩種：1.自頂向下（記憶化）：遞歸分解問題，使用緩存存儲中間結(jié)果；2.自底向上（表格化）：從基礎(chǔ)情況開始迭代構(gòu)建解決方案。適用于需要最大/最小值、最優(yōu)解或存在重疊子問題的場景，如斐波那契數(shù)列、背包問題等。在Python中，可通過裝飾器或數(shù)組實(shí)現(xiàn)，并應(yīng)注意識別遞推關(guān)系、定義基準(zhǔn)情況及優(yōu)化空間復(fù)雜度。
如何使用__ITER__和__NEXT __在Python中實(shí)現(xiàn)自定義迭代器？
Jun 19, 2025 am 01:12 AM
要實(shí)現(xiàn)自定義迭代器，需在類中定義__iter__和__next__方法。①__iter__方法返回迭代器對象自身，通常為self，以兼容for循環(huán)等迭代環(huán)境；②__next__方法控制每次迭代的值，返回序列中的下一個元素，當(dāng)無更多項(xiàng)時應(yīng)拋出StopIteration異常；③需正確跟蹤狀態(tài)并設(shè)置終止條件，避免無限循環(huán)；④可封裝復(fù)雜邏輯如文件行過濾，同時注意資源清理與內(nèi)存管理；⑤對簡單邏輯可考慮使用生成器函數(shù)yield替代，但需結(jié)合具體場景選擇合適方式。
Python編程語言及其生態(tài)系統(tǒng)的新興趨勢或未來方向是什么？
Jun 19, 2025 am 01:09 AM
Python的未來趨勢包括性能優(yōu)化、更強(qiáng)的類型提示、替代運(yùn)行時的興起及AI/ML領(lǐng)域的持續(xù)增長。首先，CPython持續(xù)優(yōu)化，通過更快的啟動時間、函數(shù)調(diào)用優(yōu)化及擬議中的整數(shù)操作改進(jìn)提升性能；其次，類型提示深度集成至語言與工具鏈，增強(qiáng)代碼安全性與開發(fā)體驗(yàn)；第三，PyScript、Nuitka等替代運(yùn)行時提供新功能與性能優(yōu)勢；最后，AI與數(shù)據(jù)科學(xué)領(lǐng)域持續(xù)擴(kuò)張，新興庫推動更高效的開發(fā)與集成。這些趨勢表明Python正不斷適應(yīng)技術(shù)變化，保持其領(lǐng)先地位。
如何使用插座在Python中執(zhí)行網(wǎng)絡(luò)編程？
Jun 20, 2025 am 12:56 AM
Python的socket模塊是網(wǎng)絡(luò)編程的基礎(chǔ)，提供低級網(wǎng)絡(luò)通信功能，適用于構(gòu)建客戶端和服務(wù)器應(yīng)用。要設(shè)置基本TCP服務(wù)器，需使用socket.socket()創(chuàng)建對象，綁定地址和端口，調(diào)用.listen()監(jiān)聽連接，并通過.accept()接受客戶端連接。構(gòu)建TCP客戶端需創(chuàng)建socket對象后調(diào)用.connect()連接服務(wù)器，再使用.sendall()發(fā)送數(shù)據(jù)和.recv()接收響應(yīng)。處理多個客戶端可通過1.線程：每次連接啟動新線程；2.異步I/O：如asyncio庫實(shí)現(xiàn)無阻塞通信。注意事
Python類中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向?qū)ο缶幊讨械暮诵母拍?，指“一種接口，多種實(shí)現(xiàn)”，允許統(tǒng)一處理不同類型的對象。1.多態(tài)通過方法重寫實(shí)現(xiàn)，子類可重新定義父類方法，如Animal類的speak()方法在Dog和Cat子類中有不同實(shí)現(xiàn)。2.多態(tài)的實(shí)際用途包括簡化代碼結(jié)構(gòu)、增強(qiáng)可擴(kuò)展性，例如圖形繪制程序中統(tǒng)一調(diào)用draw()方法，或游戲開發(fā)中處理不同角色的共同行為。3.Python實(shí)現(xiàn)多態(tài)需滿足：父類定義方法，子類重寫該方法，但不要求繼承同一父類，只要對象實(shí)現(xiàn)相同方法即可，這稱為“鴨子類型”。4.注意事項(xiàng)包括保持方
如何在Python中切片列表？
Jun 20, 2025 am 12:51 AM
Python列表切片的核心答案是掌握[start:end:step]語法并理解其行為。1.列表切片的基本格式為list[start:end:step]，其中start是起始索引（包含）、end是結(jié)束索引（不包含）、step是步長；2.省略start默認(rèn)從0開始，省略end默認(rèn)到末尾，省略step默認(rèn)為1；3.獲取前n項(xiàng)用my_list[:n]，獲取后n項(xiàng)用my_list[-n:]；4.使用step可跳過元素，如my_list[::2]取偶數(shù)位，負(fù)step值可反轉(zhuǎn)列表；5.常見誤區(qū)包括end索引不
