最初の9回の記事は基礎(chǔ)から書(shū)き方まで詳しく紹介していますので、10回目の記事ではクローラープログラムの書(shū)き方をステップバイステップで詳しく記録していきます。本校のウェブサイトについて:

http://jwxt.sdu.edu.cn:7777/zhxt_bks/zhxt_bks.html

スコアを確認(rèn)するには、ログインする必要があり、各科目のスコアが表示されます。ただし、加重平均點(diǎn)である成績(jī)點(diǎn)は表示されません。

このように評(píng)定點(diǎn)を手動(dòng)で計(jì)算するのは、明らかに非常に面倒です。したがって、Python を使用してこの問(wèn)題を解決するクローラーを作成できます。

まずツールを準(zhǔn)備しましょう：HttpFoxプラグイン。

これは、ページのリクエストとレスポンスの時(shí)間と內(nèi)容、およびブラウザで使用される COOKIE を分析する http プロトコル分析プラグインです。

例として、Firefox にインストールするだけで、次のような効果が得られます:

対応する情報(bào)を非常に直感的に表示できます。

「開(kāi)始」をクリックして検出を開(kāi)始し、「停止」をクリックして検出を一時(shí)停止し、「クリア」をクリックしてコンテンツをクリアします。

通常、使用する前に、[停止] をクリックして一時(shí)停止し、[クリア] をクリックして畫(huà)面をクリアし、現(xiàn)在のページにアクセスして取得したデータが表示されていることを確認(rèn)します。

ログイン時(shí)にどのような情報(bào)が送信されるかを確認(rèn)するには、山東大學(xué)のスコア照會(huì) Web サイトにアクセスしてみましょう。

まず、ログイン ページに移動(dòng)し、httpfox を開(kāi)いてクリアし、[開(kāi)始] をクリックして検出を開(kāi)始します:

個(gè)人情報(bào)を入力した後、httpfox がオンになっていることを確認(rèn)し、[OK] をクリックして情報(bào)を送信し、ログに記録しますで。

この時(shí)點(diǎn)で、httpfox が 3 つの情報(bào)を検出したことがわかります:

この時(shí)點(diǎn)で、ページにアクセスした後にフィードバックされたデータが確実にキャプチャされるように、ログインをシミュレートできるように、停止ボタンをクリックします。クローラーをするとき。

一見(jiàn)すると、GET が 2 つ、POST が 1 つで、合計(jì) 3 つのデータが得られましたが、それらが何なのか、どのように使用するのかはまだわかりません。

そのため、キャプチャしたコンテンツを 1 つずつ確認(rèn)する必要があります。

最初にPOST情報(bào)を見(jiàn)てみましょう:

POST情報(bào)なので、PostDataを見(jiàn)るだけで済みます。

POSTデータはstudidとpwdの合計(jì)2つあることがわかります。

そして、Type の Redirect to から、POST 完了後に bks_login2.loginmessage ページにジャンプすることがわかります。

このデータは、「OK」をクリックした後に送信されたフォームデータであることがわかります。

Cookie ラベルをクリックすると、Cookie 情報(bào)が表示されます:

はい、ACCOUNT Cookie が受信されました。セッション終了後に自動(dòng)的に破棄されます。

それでは、送信後にどのような情報(bào)を受け取りましたか?

次の 2 つの GET データを見(jiàn)てみましょう。

まず最初のものを見(jiàn)てみましょう。コンテンツタグをクリックして、受け取ったコンテンツを表示します。 -HTML ソース コードは間違いなく公開(kāi)されています:

これは単にページの HTML ソース コードであるようです。Cookie をクリックすると、Cookie 関連の情報(bào)が表示されます:

。ああ、HTML ページの元のコンテンツは、Cookie 情報(bào)が送信された後に受信されました。

最後に受信したメッセージを見(jiàn)てみましょう:

大まかに見(jiàn)てみると、これは style.css という単なる CSS ファイルであるはずですが、これは私たちにはあまり影響しません。

サーバーに送信したデータと受信したデータがわかったので、基本的なプロセスは次のとおりです:

まず、學(xué)生 ID とパスワードを送信します--- > ;その後、Cookie の値を返し、Cookie をサーバーに送信します--->ページ情報(bào)を返します。成績(jī)ページからデータを取得し、正規(guī)表現(xiàn)を使用して成績(jī)と単位を個(gè)別に抽出し、加重平均を計(jì)算します。

OK、非常に単純なサンプル用紙のように見(jiàn)えます。それでは試してみましょう。

しかし、実験の前に、POST データがどこに送信されるかという未解決の問(wèn)題がまだあります。

元のページをもう一度見(jiàn)てください:

明らかに、これは HTML フレームワークを使用して実裝されています。つまり、アドレス バーに表示されるアドレスは、右側(cè)のフォームを送信するアドレスではありません。

それでは、どうすれば本當(dāng)の住所を取得できるのでしょうか - 。 - 右クリックしてページのソース コードを表示します:

はい、そうです。name="w_right" を持つものが目的のログイン ページです。

Web サイトの元のアドレスは:

http://jwxt.sdu.edu.cn:7777/zhxt_bks/zhxt_bks.html

したがって、実際のフォーム送信アドレスは次のようになります:

http://jwxt .sdu.edu.cn:7777/zhxt_bks/xk_login.html

入力してみると、

清華大學(xué)のコース選択システムであることが判明しました。 。 。おそらくうちの學(xué)校はページを作るのが面倒だったので、そのまま借りただけだと思います。 。結(jié)果的にはタイトルも変更されませんでした。 。 。

しかし、このページはまだ必要なページではありません。POST データが送信されるページは、フォームの ACTION で送信されるページである必要があるためです。

つまり、POST データが送信される場(chǎng)所を知るためにソース コードをチェックする必要があります:

そうですね、視覚的に言うと、これは POST データが送信されるアドレスです。

アドレスバーに配置します。完全なアドレスは次のようになります:

http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login

(取得方法は非常に簡(jiǎn)単です。Firefox で參照します。ブラウザでリンクを直接クリックすると、リンクのアドレスが表示されます)

5. 試してみましょう

次のタスクは、Python を使用して POST データの送信をシミュレートし、返された Cookie 値。

Cookieの操作については、次のブログ投稿を參照してください:

http://www.jb51.net/article/57144.htm

最初にPOSTデータを準(zhǔn)備し、次にCookie受信を準(zhǔn)備し、次に書(shū)き込みますソース コードは次のとおりです。

# -*- coding: utf-8 -*-
#---------------------------------------
#   程序：山東大學(xué)爬蟲(chóng)
#   版本：0.1
#   作者：why
#   日期：2013-07-12
#   語(yǔ)言：Python 2.7
#   操作：輸入學(xué)號(hào)和密碼
#   功能：輸出成績(jī)的加權(quán)平均值也就是績(jī)點(diǎn)
#---------------------------------------
import urllib  
import urllib2
import cookielib
cookie = cookielib.CookieJar()  
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
#需要POST的數(shù)據(jù)#
postdata=urllib.urlencode({  
    'stuid':'201100300428',  
    'pwd':'921030'  
})
#自定義一個(gè)請(qǐng)求#
req = urllib2.Request(  
    url = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login',  
    data = postdata
)
#訪問(wèn)該鏈接#
result = opener.open(req)
#打印返回的內(nèi)容#
print result.read()

この後、実行時(shí)の効果を見(jiàn)てみましょう:

これで、シミュレートされたログインが成功したことが計(jì)算されます。

6. あるものを別のものに置き換える

次のタスクは、クローラーを使用して生徒のスコアを取得することです。

ソースのウェブサイトをもう一度見(jiàn)てみましょう。

HTTPFOX を開(kāi)いた後、クリックして結(jié)果を表示し、次のデータがキャプチャされたことを確認(rèn)します。

最初の GET データをクリックしてコンテンツを表示すると、Content が取得された結(jié)果のコンテンツであることがわかります。

取得したページリンクは、右クリックしてページのソースコードから要素を表示すると、リンクをクリック後にジャンプするページが表示されます（Firefoxの場(chǎng)合は右クリックして「このフレームを表示」するだけです） ):

次のように結(jié)果を表示するためのリンクを取得できます:

http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre

7。すべての準(zhǔn)備が整いました

これですべての準(zhǔn)備が整ったので、クローラーにリンクを適用して、結(jié)果ページが表示されるかどうかを確認(rèn)してください。

httpfox からわかるように、スコア情報(bào)を返すには Cookie を送信する必要があるため、Python を使用してスコア情報(bào)を要求する Cookie の送信をシミュレートします:

# -*- coding: utf-8 -*-
#---------------------------------------
#   程序：山東大學(xué)爬蟲(chóng)
#   版本：0.1
#   作者：why
#   日期：2013-07-12
#   語(yǔ)言：Python 2.7
#   操作：輸入學(xué)號(hào)和密碼
#   功能：輸出成績(jī)的加權(quán)平均值也就是績(jī)點(diǎn)
#---------------------------------------
import urllib  
import urllib2
import cookielib
#初始化一個(gè)CookieJar來(lái)處理Cookie的信息#
cookie = cookielib.CookieJar()
#創(chuàng)建一個(gè)新的opener來(lái)使用我們的CookieJar#
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
#需要POST的數(shù)據(jù)#
postdata=urllib.urlencode({  
    'stuid':'201100300428',  
    'pwd':'921030'  
})
#自定義一個(gè)請(qǐng)求#
req = urllib2.Request(  
    url = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login',  
    data = postdata
)
#訪問(wèn)該鏈接#
result = opener.open(req)
#打印返回的內(nèi)容#
print result.read()
#打印cookie的值
for item in cookie:  
    print 'Cookie：Name = '+item.name  
    print 'Cookie：Value = '+item.value
    
#訪問(wèn)該鏈接#
result = opener.open('http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre')
#打印返回的內(nèi)容#
print result.read()

F5 を押して実行して確認(rèn)します。キャプチャされたデータ:

このままでも問(wèn)題ないので、正規(guī)表現(xiàn)を使ってデータを少し加工して、クレジットと対応するスコアを抽出します。

8. すぐに使える

このような大量の HTML ソース コードは明らかに処理に役立ちません。次に、正規(guī)表現(xiàn)を使用して必要なデータを抽出する必要があります。

正規(guī)表現(xiàn)のチュートリアルについては、次のブログ投稿をご覧ください:

http://www.jb51.net/article/57150.htm

結(jié)果のソース コードを見(jiàn)てみましょう:

そんな時(shí)は、正規(guī)表現(xiàn)を使えば簡(jiǎn)単です。

コードを少し整理してから、正規(guī)表現(xiàn)を使用してデータを抽出します。

# -*- coding: utf-8 -*-
#---------------------------------------
#   程序：山東大學(xué)爬蟲(chóng)
#   版本：0.1
#   作者：why
#   日期：2013-07-12
#   語(yǔ)言：Python 2.7
#   操作：輸入學(xué)號(hào)和密碼
#   功能：輸出成績(jī)的加權(quán)平均值也就是績(jī)點(diǎn)
#---------------------------------------
import urllib  
import urllib2
import cookielib
import re
class SDU_Spider:  
    # 申明相關(guān)的屬性  
    def __init__(self):    
        self.loginUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login'   # 登錄的url
        self.resultUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre' # 顯示成績(jī)的url
        self.cookieJar = cookielib.CookieJar()                                      # 初始化一個(gè)CookieJar來(lái)處理Cookie的信息
        self.postdata=urllib.urlencode({'stuid':'201100300428','pwd':'921030'})     # POST的數(shù)據(jù)
        self.weights = []   #存儲(chǔ)權(quán)重，也就是學(xué)分
        self.points = []    #存儲(chǔ)分?jǐn)?shù)，也就是成績(jī)
        self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookieJar))
    def sdu_init(self):
        # 初始化鏈接并且獲取cookie
        myRequest = urllib2.Request(url = self.loginUrl,data = self.postdata)   # 自定義一個(gè)請(qǐng)求
        result = self.opener.open(myRequest)            # 訪問(wèn)登錄頁(yè)面，獲取到必須的cookie的值
        result = self.opener.open(self.resultUrl)       # 訪問(wèn)成績(jī)頁(yè)面，獲得成績(jī)的數(shù)據(jù)
        # 打印返回的內(nèi)容
        # print result.read()
        self.deal_data(result.read().decode('gbk'))
        self.print_data(self.weights);
        self.print_data(self.points);
    # 將內(nèi)容從頁(yè)面代碼中摳出來(lái)  
    def deal_data(self,myPage):  
        myItems = re.findall(&#39;<TR>.*?<p.*?<p.*?<p.*?<p.*?<p.*?>(.*?)</p>.*?<p.*?<p.*?>(.*?)</p>.*?</TR>&#39;,myPage,re.S)     #獲取到學(xué)分
        for item in myItems:
            self.weights.append(item[0].encode(&#39;gbk&#39;))
            self.points.append(item[1].encode(&#39;gbk&#39;))
            
    # 將內(nèi)容從頁(yè)面代碼中摳出來(lái)
    def print_data(self,items):  
        for item in items:  
            print item
#調(diào)用  
mySpider = SDU_Spider()  
mySpider.sdu_init()

レベルは限られており、正規(guī)表現(xiàn)は少し見(jiàn)苦しいです。実行時(shí)の効果は次の図に示すとおりです。

OK、次はデータの処理です。 。

9. 凱旋

完全なコードは次のとおりです。この時(shí)點(diǎn)で、完全なクローラー プロジェクトが完成します。

# -*- coding: utf-8 -*-
#---------------------------------------
#   程序：山東大學(xué)爬蟲(chóng)
#   版本：0.1
#   作者：why
#   日期：2013-07-12
#   語(yǔ)言：Python 2.7
#   操作：輸入學(xué)號(hào)和密碼
#   功能：輸出成績(jī)的加權(quán)平均值也就是績(jī)點(diǎn)
#---------------------------------------
import urllib  
import urllib2
import cookielib
import re
import string
class SDU_Spider:  
    # 申明相關(guān)的屬性  
    def __init__(self):    
        self.loginUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login'   # 登錄的url
        self.resultUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre' # 顯示成績(jī)的url
        self.cookieJar = cookielib.CookieJar()                                      # 初始化一個(gè)CookieJar來(lái)處理Cookie的信息
        self.postdata=urllib.urlencode({'stuid':'201100300428','pwd':'921030'})     # POST的數(shù)據(jù)
        self.weights = []   #存儲(chǔ)權(quán)重，也就是學(xué)分
        self.points = []    #存儲(chǔ)分?jǐn)?shù)，也就是成績(jī)
        self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookieJar))
    def sdu_init(self):
        # 初始化鏈接并且獲取cookie
        myRequest = urllib2.Request(url = self.loginUrl,data = self.postdata)   # 自定義一個(gè)請(qǐng)求
        result = self.opener.open(myRequest)            # 訪問(wèn)登錄頁(yè)面，獲取到必須的cookie的值
        result = self.opener.open(self.resultUrl)       # 訪問(wèn)成績(jī)頁(yè)面，獲得成績(jī)的數(shù)據(jù)
        # 打印返回的內(nèi)容
        # print result.read()
        self.deal_data(result.read().decode('gbk'))
        self.calculate_date();
    # 將內(nèi)容從頁(yè)面代碼中摳出來(lái)  
    def deal_data(self,myPage):  
        myItems = re.findall(&#39;<TR>.*?<p.*?<p.*?<p.*?<p.*?<p.*?>(.*?)</p>.*?<p.*?<p.*?>(.*?)</p>.*?</TR>&#39;,myPage,re.S)     #獲取到學(xué)分
        for item in myItems:
            self.weights.append(item[0].encode(&#39;gbk&#39;))
            self.points.append(item[1].encode(&#39;gbk&#39;))
    #計(jì)算績(jī)點(diǎn)，如果成績(jī)還沒(méi)出來(lái)，或者成績(jī)是優(yōu)秀良好，就不運(yùn)算該成績(jī)
    def calculate_date(self):
        point = 0.0
        weight = 0.0
        for i in range(len(self.points)):
            if(self.points[i].isdigit()):
                point += string.atof(self.points[i])*string.atof(self.weights[i])
                weight += string.atof(self.weights[i])
        print point/weight
#調(diào)用  
mySpider = SDU_Spider()  
mySpider.sdu_init()

関連する推奨事項(xiàng):

Python クローラーを使用して貴重なブログ投稿を取得する方法

Python 動(dòng)的クローラーの共有例

以上がScratch_python からの Python クローラーの作成の完全な記録の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。