写了个去重复文件的 PHP 脚本,

时间:2025-01-22 17:37:32

写了个去重复文件的 PHP 脚本点击打开链接

把各个零散网盘、邮箱和服务器上的文件,三台电脑上的文件收集在新硬盘里,然后清空了网络和电脑上的文件。才发现这个文件不能这里放点,那里存点,到时候不知道在哪里,网络服务器上撒时候关了也不知道。还有把文件收集起来,发现文件海量,海量文件中重复文件更加不知所以。

自己动手写了个脚本,用对比 MD5 值的方法去掉重复文件,在不动原文件的情况下把非重复文件复制到另一个文件夹里。这样或许更适合自己

个人使用后觉得还是可行的,所以就公开了,代码属于菜鸟级别的,高手无视。

===========================================

去重复文件的 php 脚本

基于 PHP5.2 的脚本,体积庞大,运行效率低下,不够灵活,这是这个东东的特点

1. 用对比 MD5 值的方法去掉重复文件

2. 对非重复文件另行复制到指定的文件夹

3. 为了节省时间,大于 100 M 的文件不复制

4. log 保存保存于当前目录的 phplog/ 中



5. 要处理的文件默认目录是 D:\doc ,输出目录在  D:\doc-update



按需要自行设置

处理 1 万个文件大约 1分钟。检查文件无误后自行删除原文件

===========================================

文件目前放在这里,如果有兴趣,下载试试    http://ys138.win/soft/

源代码被更新到了这个里 , https://github.com/yourshell/non-repeat