python计算文件md5值

　　md5是一种常见不可逆加密算法，使用简单，计算速度快，在很多场景下都会用到，比如：给用户上传的文件命名，数据库中保存的用户密码，下载文件后检验文件是否正确等。下面讲解在python中如何使用md5算法。

 

一、计算字符串的md5值

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
import hashlib

reload(sys)
sys.setdefaultencoding('utf-8')

if __name__ == '__main__':
    content = "hello"
    md5hash = hashlib.md5(content)
    md5 = md5hash.hexdigest()
    print(md5)

 运行上述代码，输出：5d41402abc4b2a76b9719d911017c592

用PHP自带的md5函数计算同一个字符串，验证下hello的md5是否正确。

<?php

    $content = "hello";
    $md5 = md5($content);
    var_dump($md5);    // 输出 5d41402abc4b2a76b9719d911017c592

可见python下计算字符串的md5也是非常方便，使用hashlib库即可。网上有文章介绍python2.x下可以使用md5库，该库在python3.x不能使用，因此不推荐使用该库。

 

字符串的md5计算比较简单，下面看下如何计算文件的md5值。

二、计算文件的md5值

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
import hashlib

reload(sys)
sys.setdefaultencoding('utf-8')

if __name__ == '__main__':
    file_name = "3383430480_51_01.jpg"
    with open(file_name, 'rb') as fp:
        data = fp.read()
    file_md5= hashlib.md5(data).hexdigest()
    print(file_md5)     # ac3ee699961c58ef80a78c2434efe0d0

文件md5计算跟字符串计算是一样，直接使用hashlib的md5方法，然后hexdigests就好了。同样用PHP代码验证下

<?php

    $file_name = "3383430480_51_01.jpg";
    $file_md5 = md5_file($file_name);
    var_dump($file_md5);    // 输出 ac3ee699961c58ef80a78c2434efe0d0

从结果可以看出md5是一样的，文件md5值也不过如此呀，心里窃喜。。。

如果大文件呢，比如几个G呢，上述代码肯定会内存溢出，怎么办呢，可以分块读取文件内容并计算。

 

三、计算大文件的md5值

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
import hashlib

def get_file_md5(fname):
    m = hashlib.md5()   #创建md5对象
    with open(fname,'rb') as fobj:
        while True:
            data = fobj.read(4096)
            if not data:
                break
            m.update(data)  #更新md5对象

    return m.hexdigest()    #返回md5对象

reload(sys)
sys.setdefaultencoding('utf-8')

if __name__ == '__main__':
    file_name = "mongodb_us.zip"
    file_md5 = get_file_md5(file_name)
    print(file_md5)     # 0f45cdbf14de54001e82a17c3d199a4b

分块读取文件内容，然后调用hashlib的update()方法将分块数据更新至md5对象中，最后调用hexdigest()方法得出md5值。

 

四、封装成常用库md5.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import hashlib

def get_file_md5(file_name):
    """
    计算文件的md5
    :param file_name:
    :return:
    """
    m = hashlib.md5()   #创建md5对象
    with open(file_name,'rb') as fobj:
        while True:
            data = fobj.read(4096)
            if not data:
                break
            m.update(data)  #更新md5对象

    return m.hexdigest()    #返回md5对象


def get_str_md5(content):
    """
    计算字符串md5
    :param content:
    :return:
    """
    m = hashlib.md5(content) #创建md5对象
    return m.hexdigest()

 

好了，关于md5的计算就到这里，有不同见解的同学，欢迎拍砖，一起来探讨，谢谢。