文件名称:gcstool:一个用于创建和搜索Golomb压缩集的小工具
文件大小:9KB
文件格式:ZIP
更新时间:2024-06-05 05:10:21
Rust
gcstool 一个用于创建和搜索小型(预发行版)工具。 什么? Golomb压缩集类似于-它们是节省空间的数据结构,可让您测试给定元素是否为集合的成员。 像Bloom过滤器一样,它们具有可控的假阳性率-即使没有出现过,它们也可以将元素视为集合的成员-而没有假阴性。 如果GCS没有看到它,则不在列表中。 为什么? 让我们用一个实际问题来说明:检查泄漏的密码列表。 假设您有,并且想要在注册时对照列表检查用户密码。 不幸的是,它的容量接近30GB,并且不是特别适合搜索的格式。 您只需将SHA1哈希转换为二进制,甚至在处理过程中将其截断即可,从而将其削减了很多,但实际上却非常激进,每项仅花费了6个字节(假阳性率为500,000中的1)只能将您的容量降低到3 GB。 让我们看看这个工具可以做什么: # Use precomputed hashes directly with -H
【文件预览】:
gcstool-master
----src()
--------main.rs(8KB)
--------gcs.rs(6KB)
--------status.rs(2KB)
----Cargo.toml(497B)
----LICENSE.txt(1KB)
----README.md(4KB)