文件名称：spark_dupfinder:查找重复文件的火花过程
文件大小：3KB
文件格式：ZIP
更新时间：2024-05-05 05:07:38
Python
spark_dupfinder 查找重复文件的火花过程。 它是按比例缩放的，需要文件列表，可以使用createFileLists.sh脚本创建。 要在群集模式下使用它，文件和环境必须位于共享位置（在所有节点中都安装在同一路径中）。 本地模式安装 注意，在本地模式下，它将比其他本机解决方案慢（已设计该脚本将其扩展为多个节点）。 在这种情况下，您应该考虑使用诸如或类的工具。 创造环境 virtualenv -p python3 venv source venv/bin/activate pip install -r requirements.txt 创建文件列表 createFileLists.sh /mnt/c /mnt/e 这将为每个根路径创建一个文件。 然后，您可以使用本地表达式作为参数在本地模式下运行python脚本。 python spark_find_duplicates
【文件预览】：
spark_dupfinder-master
----requirements.txt(117B)
----spark_find_duplicates.py(3KB)
----createFileLists.sh(118B)
----README.md(2KB)