利用 Python 和 Beautiful Soup 來發(fā)揮網(wǎng)頁抓取的力量：一個 MIDI 音樂範(fàn)例
網(wǎng)路是一個資訊寶庫，但如果沒有專用的 API，以程式設(shè)計方式存取它可能會很困難。 Python 的 Beautiful Soup 程式庫提供了一個強大的解決方案，讓您能夠直接從網(wǎng)頁中抓取和解析資料。
讓我們透過抓取 MIDI 資料來訓(xùn)練 Magenta 神經(jīng)網(wǎng)路來產(chǎn)生經(jīng)典的任天堂風(fēng)格音樂來探索這一點。 我們將從電玩音樂檔案 (VGM) 中取得 MIDI 檔案。
設(shè)定您的環(huán)境
確保您已安裝 Python 3 和 pip。 在安裝依賴項之前創(chuàng)建並啟動虛擬環(huán)境至關(guān)重要：
pip install requests==2.22.0 beautifulsoup4==4.8.1
我們使用Beautiful Soup 4（Beautiful Soup 3不再維護）。
用請求和美麗的湯來抓取和解析
首先，讓我們?nèi)〉?HTML 並建立一個 BeautifulSoup 物件：
import requests from bs4 import BeautifulSoup vgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/' html_text = requests.get(vgm_url).text soup = BeautifulSoup(html_text, 'html.parser')
soup 物件允許 HTML 導(dǎo)航。 soup.title 給予頁面標(biāo)題； print(soup.get_text()) 顯示所有文字。
掌握美湯的力量
find() 和 find_all() 方法是必不可少的。 soup.find() 定位單一元素（例如，soup.find(id='banner_ad').text 取得橫幅廣告文字）。 soup.find_all() 迭代多個元素。 例如，這會列印所有超連結(jié) URL：
for link in soup.find_all('a'):
print(link.get('href'))
find_all() 接受正規(guī)表示式或標(biāo)籤屬性等參數(shù)以進行精確過濾。 有關(guān)進階功能，請參閱 Beautiful Soup 文件。
導(dǎo)覽與解析 HTML
在編寫解析程式碼之前，請檢查瀏覽器渲染的 HTML。 每個網(wǎng)頁都是獨一無二的；資料擷取通常需要創(chuàng)造力和實驗。
我們的目標(biāo)是下載獨特的 MIDI 文件，不包括重複文件和混音文件。瀏覽器開發(fā)工具（右鍵點選「檢查」）可協(xié)助識別 HTML 元素以進行程式存取。
讓我們使用 find_all() 和正規(guī)表示式來過濾包含 MIDI 檔案的連結(jié)（不包括名稱中帶括號的連結(jié)）：
建立nes_midi_scraper.py:
import re
import requests
from bs4 import BeautifulSoup
vgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/'
html_text = requests.get(vgm_url).text
soup = BeautifulSoup(html_text, 'html.parser')
if __name__ == '__main__':
attrs = {'href': re.compile(r'\.mid$')}
tracks = soup.find_all('a', attrs=attrs, string=re.compile(r'^((?!\().)*$'))
count = 0
for track in tracks:
print(track)
count += 1
print(len(tracks))
這會過濾 MIDI 檔案、列印其連結(jié)標(biāo)籤並顯示總數(shù)。 與python nes_midi_scraper.py一起奔跑。
下載 MIDI 檔案
現(xiàn)在，讓我們下載過濾後的 MIDI 檔案。 將 download_track 函數(shù)加入到 nes_midi_scraper.py：
pip install requests==2.22.0 beautifulsoup4==4.8.1
此功能下載每個曲目並使用唯一的檔案名稱儲存。從所需的儲存目錄運行腳本。 您應(yīng)該下載大約 2230 個 MIDI 檔案（取決於網(wǎng)站目前的內(nèi)容）。
探索網(wǎng)路的潛力
網(wǎng)路抓取為海量資料集打開了大門。請記住，網(wǎng)頁變更可能會破壞您的程式碼；保持腳本更新。 使用 Mido（用於 MIDI 資料處理）和 Magenta（用於神經(jīng)網(wǎng)路訓(xùn)練）等函式庫來建立此基礎(chǔ)。
以上是使用 Beautiful Soup 在 Python 中進行網(wǎng)頁抓取和解析 HTML的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
Python的UNITDEST或PYTEST框架如何促進自動測試？
Jun 19, 2025 am 01:10 AM
Python的unittest和pytest是兩種廣泛使用的測試框架，它們都簡化了自動化測試的編寫、組織和運行。 1.二者均支持自動發(fā)現(xiàn)測試用例並提供清晰的測試結(jié)構(gòu)：unittest通過繼承TestCase類並以test\_開頭的方法定義測試；pytest則更為簡潔，只需以test\_開頭的函數(shù)即可。 2.它們都內(nèi)置斷言支持：unittest提供assertEqual、assertTrue等方法，而pytest使用增強版的assert語句，能自動顯示失敗詳情。 3.均具備處理測試準(zhǔn)備與清理的機制：un
如何將Python用於數(shù)據(jù)分析和與Numpy和Pandas等文庫進行操作？
Jun 19, 2025 am 01:04 AM
pythonisidealfordataanalysisionduetonumpyandpandas.1）numpyExccelSatnumericalComputationswithFast，多dimensionalArraysAndRaysAndOrsAndOrsAndOffectorizedOperationsLikenp.sqrt（）
什麼是動態(tài)編程技術(shù)，如何在Python中使用它們？
Jun 20, 2025 am 12:57 AM
動態(tài)規(guī)劃（DP）通過將復(fù)雜問題分解為更簡單的子問題並存儲其結(jié)果以避免重複計算，來優(yōu)化求解過程。主要方法有兩種：1.自頂向下（記憶化）：遞歸分解問題，使用緩存存儲中間結(jié)果；2.自底向上（表格化）：從基礎(chǔ)情況開始迭代構(gòu)建解決方案。適用於需要最大/最小值、最優(yōu)解或存在重疊子問題的場景，如斐波那契數(shù)列、背包問題等。在Python中，可通過裝飾器或數(shù)組實現(xiàn)，並應(yīng)注意識別遞推關(guān)係、定義基準(zhǔn)情況及優(yōu)化空間複雜度。
如何使用__ITER__和__NEXT __在Python中實現(xiàn)自定義迭代器？
Jun 19, 2025 am 01:12 AM
要實現(xiàn)自定義迭代器，需在類中定義__iter__和__next__方法。 ①__iter__方法返回迭代器對象自身，通常為self，以兼容for循環(huán)等迭代環(huán)境；②__next__方法控制每次迭代的值，返回序列中的下一個元素，當(dāng)無更多項時應(yīng)拋出StopIteration異常；③需正確跟蹤狀態(tài)並設(shè)置終止條件，避免無限循環(huán)；④可封裝複雜邏輯如文件行過濾，同時注意資源清理與內(nèi)存管理；⑤對簡單邏輯可考慮使用生成器函數(shù)yield替代，但需結(jié)合具體場景選擇合適方式。
Python編程語言及其生態(tài)系統(tǒng)的新興趨勢或未來方向是什麼？
Jun 19, 2025 am 01:09 AM
Python的未來趨勢包括性能優(yōu)化、更強的類型提示、替代運行時的興起及AI/ML領(lǐng)域的持續(xù)增長。首先，CPython持續(xù)優(yōu)化，通過更快的啟動時間、函數(shù)調(diào)用優(yōu)化及擬議中的整數(shù)操作改進提升性能；其次，類型提示深度集成至語言與工具鏈，增強代碼安全性與開發(fā)體驗；第三，PyScript、Nuitka等替代運行時提供新功能與性能優(yōu)勢；最後，AI與數(shù)據(jù)科學(xué)領(lǐng)域持續(xù)擴張，新興庫推動更高效的開發(fā)與集成。這些趨勢表明Python正不斷適應(yīng)技術(shù)變化，保持其領(lǐng)先地位。
如何使用插座在Python中執(zhí)行網(wǎng)絡(luò)編程？
Jun 20, 2025 am 12:56 AM
Python的socket模塊是網(wǎng)絡(luò)編程的基礎(chǔ)，提供低級網(wǎng)絡(luò)通信功能，適用於構(gòu)建客戶端和服務(wù)器應(yīng)用。要設(shè)置基本TCP服務(wù)器，需使用socket.socket()創(chuàng)建對象，綁定地址和端口，調(diào)用.listen()監(jiān)聽連接，並通過.accept()接受客戶端連接。構(gòu)建TCP客戶端需創(chuàng)建socket對像後調(diào)用.connect()連接服務(wù)器，再使用.sendall()發(fā)送數(shù)據(jù)和??.recv()接收響應(yīng)。處理多個客戶端可通過1.線程：每次連接啟動新線程；2.異步I/O：如asyncio庫實現(xiàn)無阻塞通信。注意事
Python類中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向?qū)ο缶幊讨械暮诵母拍?，指“一種接口，多種實現(xiàn)”，允許統(tǒng)一處理不同類型的對象。 1.多態(tài)通過方法重寫實現(xiàn)，子類可重新定義父類方法，如Animal類的speak()方法在Dog和Cat子類中有不同實現(xiàn)。 2.多態(tài)的實際用途包括簡化代碼結(jié)構(gòu)、增強可擴展性，例如圖形繪製程序中統(tǒng)一調(diào)用draw()方法，或遊戲開發(fā)中處理不同角色的共同行為。 3.Python實現(xiàn)多態(tài)需滿足：父類定義方法，子類重寫該方法，但不要求繼承同一父類，只要對象實現(xiàn)相同方法即可，這稱為“鴨子類型”。 4.注意事項包括保持方
如何在Python中切片列表？
Jun 20, 2025 am 12:51 AM
Python列表切片的核心答案是掌握[start:end:step]語法並理解其行為。 1.列表切片的基本格式為list[start:end:step]，其中start是起始索引（包含）、end是結(jié)束索引（不包含）、step是步長；2.省略start默認(rèn)從0開始，省略end默認(rèn)到末尾，省略step默認(rèn)為1；3.獲取前n項用my_list[:n]，獲取後n項用my_list[-n:]；4.使用step可跳過元素，如my_list[::2]取偶數(shù)位，負(fù)step值可反轉(zhuǎn)列表；5.常見誤區(qū)包括end索引不
