BloomFilter——大规模数据处理利器 1

【文件属性】：

文件名称：BloomFilter——大规模数据处理利器 1

文件大小：517KB

文件格式：PDF

更新时间：2022-08-04 16:08:34

数据结构 网络 算法 爬虫 数据库

1. 将访问过的URL保存到数据库 2. 用HashSet将访问过的URL保存起来 3. URL经过MD5或SHA-1等单向哈希后再保存到HashSet或数据库