国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

Python – Scrapy erfasst doppelten Inhalt der CNKI-Antwort
黃舟
黃舟 2017-06-30 09:55:07
0
3
1072

überqueren Sie die URL, um das Umbl?ttern anzufordern

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Das Ergebnis ist, dass die Antwortanforderung erfolgreich ist, der Inhalt jedoch jedes Mal derselbe ist. Bei der Verwendung von Postman zum separaten Anfordern der paginierten URLs tritt dieses Problem jedoch nicht auf. = = Wurdest du gesperrt? So war es noch nie

黃舟
黃舟

人生最曼妙的風(fēng)景,竟是內(nèi)心的淡定與從容!

Antworte allen(3)
劉奇

那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區(qū)別

三叔

被反爬識別到了

洪濤

看下控制臺打印的log,看看是否正確抓取了下一頁
2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,
注意最后一個x(http:xx/page/x)是否是變化的

Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage