在实现爬虫的时候，我们使用Hash结构去存储我们用过的URL的时候，有些URL可能长度很长，为了更加节省空间，我们就要对URL进行压缩，帮它减减肥，这个我们介绍这个MD5算法，可以对URL进行有效的压缩。
下面我们会讲讲MD5算法的一些细节，不过我们大可不必在意，我们只需要知道，我们对一个很长很长的字符串进行MD5压缩，返回的是一个128位整数，这个字符串就是原字符串的唯一标示符，就好像是我们的身份证一样，通过这个id就可以标识唯一的你。
MD5算法描述：MD5以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过一系列的处理后，算法的输出有4个32位分组组成，将这4个32位分组级联后将生成一个128位的散列值。在MD5算法中，首先需要对信息进行填充，使其位长度对512求余的结果等于448，因此，信息的位长度将被扩展为N*512+448，在信息的后面附加一个1和无数个0，知道满足上面的条件才停止用0对信息进行填充，然后在这个结果的后面附加一个64位二进制表示的填充前的信息长度，通过这几步的处理，现在的信息字节长度=N*512+448+64=（N+1）*512，即长度恰好是512的整数倍。
在Java中，java.security.MessageDigest中定义了MD5的计算，只需要简单地调用即可得到MD5的128位整数，然后将此128位转换成十六进制表示即可。通过这样的转换就可以将很长的字符串变成长度为32的字符串。
先来看看MessageDigest这个类：
介绍：此 MessageDigest 类为应用程序提供信息摘要算法的功能，如 MD5 或 SHA 算法。信息摘要是安全的单向哈希函数，它接收任意大小的数据，并输出固定长度的哈希值。
getInstance(String algorithm)：这个该类的静态方法，返回具有指定算法名称的信息摘要。
update(byte[] input):使用指定的byte数组去更新摘要，这个byte数组其实就是我们要压缩的那个字符串的数组。
digest():通过执行诸如填充之类的最终操作完成哈希计算，其实就是根据MD5算法计算出一个128位的长整数，也即使16个字节。
下面具体来看看：
public class MD5Util {
public static String getMD5(byte[] input) {
//用来将字节转换成十六进制表示的字符
char[] str = {'0', '1', '2', '3', '4', '5', '6', '7', '8', '9',
'a', 'b', 'c', 'd', 'e', 'f'};
try{
MessageDigest md = MessageDigest.getInstance("MD5");
md.update(input);
//这里结果是128位的长整数，用字节表示就是16个字节
byte[] temp = md.digest();
//每个字节用十六进制表示的话，需要用2个字符
char[] ch = new char[16*2];
//表示转换结果中对应的字符位置
int index = 0;
for(int i = 0; i < 16; i++) {
byte b = temp[i];
ch[index++] = str[b >>> 4 & 0xf];
ch[index++] = str[b & 0xf];
}
return new String(ch);
}catch(Exception e) {
e.printStackTrace();
}
return null;
}
public static void main(String[] args) {
System.out.println(MD5Util.getMD5("www.hao123.com".getBytes()));
}
}