在Python 中計算大檔案的MD5 雜湊值
Python 的hashlib 模組提供了一個用於計算加密雜湊值的便捷接口。然而，對於超出系統(tǒng)記憶體的超大文件，直接使用 hashlib 可能會出現(xiàn)問題。
解決方案：漸進式雜湊
為了解決這個問題，我們採用漸進式雜湊來透過以可管理的區(qū)塊讀取檔案。這種方法可確保對整個檔案內容進行哈希處理，而不會消耗過多的記憶體。以下是實作此技術的範例Python 函數：
<code class="python">import hashlib
def md5_for_file(f):
block_size = 2**20
md5 = hashlib.md5()
while True:
data = f.read(block_size)
if not data:
break
md5.update(data)
return md5.digest()</code>
要計算大檔案的MD5 雜湊值，您可以如下呼叫函數：
<code class="python">with open("filename", "rb") as f:
md5 = md5_for_file(f)</code>
注意在檔案模式下
確保使用「rb」以二進位模式開啟檔案以獲得準確的結果。使用“r”可能會導致計算錯誤。
其他注意事項
為了方便起見，下面介紹了該函數的改進版本：
<code class="python">import hashlib
import os
def generate_file_md5(rootdir, filename):
m = hashlib.md5()
with open(os.path.join(rootdir, filename), "rb") as f:
buf = f.read()
while buf:
m.update(buf)
buf = f.read()
return m.hexdigest()</code>
建議使用jacksum 等外部工具交叉檢查計算出的雜湊值以驗證準確性。
以上是如何在Python中散列大檔案而不消耗記憶體？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅動的應用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
Python類中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向對象編程中的核心概念，指“一種接口，多種實現(xiàn)”，允許統(tǒng)一處理不同類型的對象。 1.多態(tài)通過方法重寫實現(xiàn)，子類可重新定義父類方法，如Animal類的speak()方法在Dog和Cat子類中有不同實現(xiàn)。 2.多態(tài)的實際用途包括簡化代碼結構、增強可擴展性，例如圖形繪製程序中統(tǒng)一調用draw()方法，或遊戲開發(fā)中處理不同角色的共同行為。 3.Python實現(xiàn)多態(tài)需滿足：父類定義方法，子類重寫該方法，但不要求繼承同一父類，只要對象實現(xiàn)相同方法即可，這稱為“鴨子類型”。 4.注意事項包括保持方
我如何寫一個簡單的'你好，世界！” Python的程序？
Jun 24, 2025 am 12:45 AM
"Hello,World!"程序是用Python編寫的最基礎示例，用於展示基本語法並驗證開發(fā)環(huán)境是否正確配置。 1.它通過一行代碼print("Hello,World!")實現(xiàn)，運行後會在控制臺輸出指定文本；2.運行步驟包括安裝Python、使用文本編輯器編寫代碼、保存為.py文件、在終端執(zhí)行該文件；3.常見錯誤有遺漏括號或引號、誤用大寫Print、未保存為.py格式以及運行環(huán)境錯誤；4.可選工具包括本地文本編輯器 終端、在線編輯器（如replit.com）
Python中的算法是什麼？為什麼它們很重要？
Jun 24, 2025 am 12:43 AM
AlgorithmsinPythonareessentialforefficientproblem-solvinginprogramming.Theyarestep-by-stepproceduresusedtosolvetaskslikesorting,searching,anddatamanipulation.Commontypesincludesortingalgorithmslikequicksort,searchingalgorithmslikebinarysearch,andgrap
什麼是python的列表切片？
Jun 29, 2025 am 02:15 AM
ListslicinginPythonextractsaportionofalistusingindices.1.Itusesthesyntaxlist[start:end:step],wherestartisinclusive,endisexclusive,andstepdefinestheinterval.2.Ifstartorendareomitted,Pythondefaultstothebeginningorendofthelist.3.Commonusesincludegetting
python`@classmethod'裝飾師解釋了
Jul 04, 2025 am 03:26 AM
類方法是Python中通過@classmethod裝飾器定義的方法，其第一個參數為類本身(cls)，用於訪問或修改類狀態(tài)。它可通過類或實例調用，影響的是整個類而非特定實例；例如在Person類中，show_count()方法統(tǒng)計創(chuàng)建的對像數量；定義類方法時需使用@classmethod裝飾器並將首參命名為cls，如change_var(new_value)方法可修改類變量；類方法與實例方法(self參數)、靜態(tài)方法(無自動參數)不同，適用於工廠方法、替代構造函數及管理類變量等場景；常見用途包括從
Python函數參數和參數
Jul 04, 2025 am 03:26 AM
參數（parameters）是定義函數時的佔位符，而傳參（arguments）是調用時傳入的具體值。 1.位置參數需按順序傳遞，順序錯誤會導致結果錯誤；2.關鍵字參數通過參數名指定，可改變順序且提高可讀性；3.默認參數值在定義時賦值，避免重複代碼，但應避免使用可變對像作為默認值；4.args和*kwargs可處理不定數量的參數，適用於通用接口或裝飾器，但應謹慎使用以保持可讀性。
如何使用CSV模塊在Python中使用CSV文件？
Jun 25, 2025 am 01:03 AM
Python的csv模塊提供了讀寫CSV文件的簡單方法。 1.讀取CSV文件時，可使用csv.reader()逐行讀取，並將每行數據作為字符串列表返回；若需通過列名訪問數據，則可用csv.DictReader()，它將每行映射為字典。 2.寫入CSV文件時，使用csv.writer()並調用writerow()或writerows()方法寫入單行或多行數據；若要寫入字典數據，則使用csv.DictWriter()，需先定義列名並通過writeheader()寫入表頭。 3.處理邊緣情況時，模塊自動處理
解釋Python發(fā)電機和迭代器。
Jul 05, 2025 am 02:55 AM
迭代器是實現(xiàn)__iter__()和__next__()方法的對象，生成器是簡化版的迭代器，通過yield關鍵字自動實現(xiàn)這些方法。 1.迭代器每次調用next()返回一個元素，無更多元素時拋出StopIteration異常。 2.生成器通過函數定義，使用yield按需生成數據，節(jié)省內存且支持無限序列。 3.處理已有集合時用迭代器，動態(tài)生成大數據或需惰性求值時用生成器，如讀取大文件時逐行加載。注意：列表等可迭代對像不是迭代器，迭代器到盡頭後需重新創(chuàng)建，生成器只能遍歷一次。
