PyDeduplication:大多数只是重复数据删除

时间:2024-03-06 08:51:14
【文件属性】:

文件名称:PyDeduplication:大多数只是重复数据删除

文件大小:22KB

文件格式:ZIP

更新时间:2024-03-06 08:51:14

file-handling deduplication Python

Python重复数据删除 在Windows和Linux上测试 条款 学期 意义 短哈希 文件的第一个和最后一个4Ki的哈希 长哈希 散列文件的完整性 文件容器 某些文件包装在容器中,例如.mkv或.png文件。 如果更改了容器元数据(例如,从图像中删除了EXIF数据),则这些文件可能显示假阴性。 打开文件的基础内容并进行哈希处理可以解决此问题,但是会降低性能。 使用--raw标志启用此扫描模式。 当前仅支持图像。 跳过目录 要跳过目录,请将.skipfolder文件放置在您要忽略的级别。 .skipfolder文件指示该程序忽略该文件夹,包括所有子文件和子文件夹。 名为.git以及.gitignore文件都将被自动忽略。 请注意, .gitmodules当前.gitmodules被忽略。 GenerateHashList.py 用法:python3 GenerateHashList


【文件预览】:
PyDeduplication-master
----ExportHashtable.py(1KB)
----.github()
--------workflows()
----HashUtil()
--------Utils.py(624B)
--------EncryptionHelpers.py(3KB)
--------__init__.py(22B)
--------HashList.py(11KB)
----requirements.txt(51B)
----SortHelper.py(4KB)
----SecUtils.py(7KB)
----LICENSE(11KB)
----LogParser.py(3KB)
----CompareTables.py(1KB)
----README.md(1KB)
----ImportHashtable.py(1KB)
----GenerateHashList.py(5KB)
----.gitignore(2KB)

网友评论