ページめくりを要求する URL をトラバースします
リーリー結(jié)果として、応答リクエストは成功しましたが、內(nèi)容は毎回同じです。これは最初のリクエストの內(nèi)容です。ただし、Postman を使用してページ分割された URL を個(gè)別にリクエストすると、この問(wèn)題は発生しません。 = = 禁止されたことはありますか? 以前はこのようなことはありませんでした
人生最曼妙的風(fēng)景,竟是內(nèi)心的淡定與從容!
次に、postman またはブラウザを使用するときに要求されるヘッダーと、scrapy を使用するときに要求されるヘッダーの違いを分析する必要があります
次のページが正しくクロールされているかどうかを確認(rèn)するには、コンソールによって出力されたログを見(jiàn)てください
2017-06-29 09:26:13 [scrapy] DEBUG: からスクレイピングされました、
Pay最後のx (http:xx/page/x) が変わっているかどうかに注目してください