需求:
编写一个diff工具，用于判断两个目录下所有的改动
详细介绍：
- 有A和B两个目录，目录所在位置及层级均不确定
- 需要以B为基准找出两个目录中所有有改动的文件（文件或内容增加、修改、删除），将有改动的文件放入第三个目录中，层级结构与原目录相同
- 将所有新增与更新信息记录到更新日志文件中
- 将删除信息单独记录到删除日志文件中
- 每次执行diff工具需要生成一个新的以日期命名的目录存放文件
使用场景：
本工具用于软件版本升级时找出两个版本间所有修改过的文件，便于增量替换。
提示： 使用CRC判断文件是否改动
依赖的Jar包:
代码如下:
package test2; import java.io.File;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.apache.commons.io.FileUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory; public class DiffUtil { private static Logger logger = LoggerFactory.getLogger(DiffUtil.class);// slf4j的日志记录器 /**
* 对比文件
* @param oldDir 旧版本文件(需求中的A文件夹)
* @param nowDir 新版本文件(需求中的B文件夹)
* @param diffDir 生成对比结果的文件夹(需求中的change文件夹)
*/
public static void compareFile(String oldDir, String nowDir, String diffDir) {
long startTime = System.currentTimeMillis();// 开始时间
// 1.在change文件夹下面生成一个当前日期格式的文件夹
String currentTime = convertCurrentTime2String();
String fileAndLogDir = diffDir + "\\" + currentTime;// 存放日志和更新后的文件的目录
File fileDiffDir = new File(fileAndLogDir);
fileDiffDir.mkdirs(); // 2.获取旧版本文件夹下和新版本文件夹下面的文件的CRC校验码
Map<String, Long> oldFileCRCs = getAllFileNameAndCRC(oldDir, oldDir,
new HashMap<String, Long>());
Map<String, Long> nowFileCRCs = getAllFileNameAndCRC(nowDir, nowDir,
new HashMap<String, Long>()); // 3.遍历删除的文件且将日志信息输出到deleteFile.log
String deleteLogName = "deleteFile.log";
File deleteLogFile = new File(fileDiffDir, deleteLogName);
// 3.1遍历旧文件夹下面的map的key，如果在新文件夹的map中找不到匹配的key值，证明是删除文件了
logger.info("----开始记录删除日志:" + convertCurrentTime2String() + "----");
try {
FileUtils.write(deleteLogFile, "-----开始记录删除日志:"
+ convertCurrentTime2String() + "----\r\n", "UTF-8", true);
} catch (IOException e) {
logger.error("将删除日志写入文件deteFile.log出错", e);
} List<String> deleteFileNames = new ArrayList<String>();
for (String oldKey : oldFileCRCs.keySet()) {
if (!nowFileCRCs.containsKey(oldKey)) {
logger.info("删除文件\t" + oldKey);
try {
FileUtils.write(deleteLogFile, "删除文件\t" + oldKey + "\r\n",
"UTF-8", true);
} catch (IOException e) {
logger.error("将删除日志写入文件deteFile.log出错", e);
}
deleteFileNames.add(oldKey);
}
} try {
FileUtils.write(deleteLogFile, "\r\n", "UTF-8", true);
FileUtils.write(deleteLogFile, "---------删除文件日志结束:共删除"
+ deleteFileNames.size() + "个文件----" + "\r\n", "UTF-8",
true);
} catch (IOException e) {
logger.error("将删除日志的统计信息写入文件deteFile.log出错", e);
}
logger.info("-----删除文件日志结束:共删除" + deleteFileNames.size() + "个文件----"); // 4.遍历增加和更新的文件
String addAndUpdateLogName = "addAndUpdate.log";
File addUpdateLogFile = new File(fileDiffDir, addAndUpdateLogName);
logger.info("-----开始记录增加、更新日志------");
List<String> addFileNames = new ArrayList<String>();// 增加文件名字集合
List<String> updateFileNames = new ArrayList<String>();// 更新文件名字集合
for (String nowKey : nowFileCRCs.keySet()) {
if (!oldFileCRCs.containsKey(nowKey)) {
addFileNames.add(nowKey);
} else {
if (oldFileCRCs.get(nowKey).equals(nowFileCRCs.get(nowKey))) {
continue;
}
updateFileNames.add(nowKey);
}
} // 4.1新增文件写入日志
try {
FileUtils.write(addUpdateLogFile, "-----Diff时间："
+ convertCurrentTime2String() + "----" + "\r\n", "UTF-8",
true);
FileUtils.write(addUpdateLogFile, "\r\n", "UTF-8", true);
FileUtils.write(addUpdateLogFile, "----共新增文件" + addFileNames.size()
+ "个----\r\n", "UTF-8", true);
logger.info("----共新增文件" + addFileNames.size() + "个----");
} catch (IOException e1) {
logger.error("将新增信息写入文件addAndUpdate.log出错", e1);
} for (String addFileName : addFileNames) {
try {
logger.info("增加了文件" + addFileName);
FileUtils.write(addUpdateLogFile, "增加了文件" + addFileName
+ "\r\n", "UTF-8", true);
} catch (IOException e) {
logger.error("将新增信息写入文件addAndUpdate.log出错", e);
}
} // 4.2更新信息写入日志
try {
FileUtils.write(addUpdateLogFile, "\r\n", "UTF-8", true);
FileUtils.write(addUpdateLogFile,
"----共更新文件" + updateFileNames.size() + "个----\r\n",
"UTF-8", true);
logger.info("----共更新文件" + updateFileNames.size() + "个----");
} catch (IOException e) {
logger.error("将更新信息写入文件addAndUpdate.log出错", e);
}
for (String updateFileName : updateFileNames) {
try {
FileUtils.write(addUpdateLogFile, "更新了文件" + updateFileName
+ "\r\n", "UTF-8", true);
logger.info("更新了文件" + updateFileName);
} catch (IOException e) {
logger.error("将更新信息写入文件addAndUpdate.log出错", e);
}
}
// 5.将有新增/更新的文件放入第三个目录中(文件拷贝)
filesCopy(addFileNames, nowDir, diffDir + "\\"+ currentTime);
filesCopy(updateFileNames, nowDir, diffDir + "\\"+ currentTime);
long endTime = System.currentTimeMillis();// 结束时间
logger.info("----运行结束，耗时" + (endTime - startTime) + "ms----");
// 6.写入程序运行时间到日志文件
try {
FileUtils.write(addUpdateLogFile, "----运行结束，耗时"
+ (endTime - startTime) + "ms----" + "\r\n", "UTF-8", true);
FileUtils.write(deleteLogFile, "----运行结束，耗时"
+ (endTime - startTime) + "ms----" + "\r\n", "UTF-8", true);
} catch (IOException e) {
logger.error("将运行耗时写入日志文件出错", e);
}
} /**
* 将新增的文件和更新的文件复制到第三个文件夹(开源jar包实现文件拷贝)
* @param fileNames 文件名字集合
* @param nowDir 当前所在的目录
* @param diffDir 目的目录
*/
private static void filesCopy(List<String> fileNames,
String nowDir, String diffDir) {
File srcFile = null,destFile = null , destFileDir = null;
for (String sourceFileName : fileNames) {
srcFile = new File(nowDir+"\\"+sourceFileName);
destFile = new File(diffDir, sourceFileName);
String fileName = srcFile.getName();
destFileDir = new File((diffDir + "\\" + sourceFileName).replace(
fileName, ""));
destFileDir.mkdirs();
try {
FileUtils.copyFile(srcFile, destFile);
} catch (IOException e) {
logger.error("复制文件出错",e);
}
}
} /**
* 获取指定文件夹下面的所有文件，key是文件的名字(去掉基层路径)，value是CRC冗余检验码(递归遍历)
* @param baseDir 基层路径
* @param fileDir 真实文件名字(去掉基层路径形成key)
* @param resultMap 结果(所有文件的CRC32码，key是真实文件名去掉基层路径，Value是CRC32码)
* @return 所有文件的CRC32码，key是真实文件名去掉基层路径，Value是CRC32码
*/
private static Map<String, Long> getAllFileNameAndCRC(String baseDir,
String fileDir, Map<String, Long> resultMap) {
File file = new File(fileDir);
if (!file.exists()) {// 文件不存在直接返回
return null;
} if (file.isDirectory()) {// 如果是目录，继续递归遍历获取其下面的所有文件的CRC32码
for (File f : file.listFiles()) {
getAllFileNameAndCRC(baseDir, f.getAbsolutePath(), resultMap);
}
} else {// 如果是文件，获取文件的CRC32码并添加到map中
long fileCRC = 0l;
try {
fileCRC = FileUtils.checksumCRC32(file);
} catch (IOException e) {
logger.error("获取文件的CRC32出错",e);
}
resultMap.put(file.getAbsolutePath().replace(baseDir, ""), fileCRC);
} return resultMap;
} /**
* 将当前日期转换为指定格式的字符串
* @return yyyy年MM月dd日HH时mm分ss秒 格式的日期串
*/
private static String convertCurrentTime2String() {
SimpleDateFormat sdf = new SimpleDateFormat("yyyy年MM月dd日HH时mm分ss秒");
return sdf.format(new Date());
} }
测试:
package test2;
public class MyTest {
public static void main(String[] args) {
// 1.第一种测试方式，直接将需要对比的文件夹写死在程序中运行
String oldDir = "C:\\Users\\Administrator\\Desktop\\mytest\\A";
String nowDir = "C:\\Users\\Administrator\\Desktop\\mytest\\B";
String diffDir = "C:\\Users\\Administrator\\Desktop\\mytest\\change";
//第二种方式，cmd窗口传参数进行运行
/*if (args == null || args.length != 3) {
System.out
.println("参数不全，使用方式java -jar DiffUtils.jar 原路径名 新路径名 diff目录路径");
return;
}
String oldDir = args[0];
String nowDir = args[1];
String diffDir = args[2];*/
DiffUtil.compareFile(oldDir, nowDir, diffDir);
}
}
我已经将此工具作为一个jar包打包起来，下载地址: http://qiaoliqiang.cn/fileDown/DiffUtil.jar
运行方式:
java -jar DiffUtil.jar C:\Users\liqiang\Desktop\新建文件件夹\考核1 C:\Users\liqiang\Desktop\新建文件夹\change
总结:
1. 文件复制有多种方式，可以用 FileUtils.copyFile(srcFile, destFile); 只需要传递两个File参数，第一个是源文件，第二个是目的文件。
也可以用 IOUtils.copy(inputStream, outputStream); 传递两个参数，第一个输入流，第二个是输出流。
2. 获取文件的CRC32循环冗余检验码也有多种方式，可以直接用 FileUtils.checksumCRC32(file); 直接获取
也可以用下面的工具方法获取:
/**
* 获取文件的CRC
*
* @param file
* 需要获取CRC32码的文件
* @return 文件的CRC32循环冗余码
*/
private static long getFileCRC(File file) {
BufferedInputStream bsrc = null;
CRC32 crc = new CRC32();
try {
bsrc = new BufferedInputStream(new FileInputStream(file));
byte[] bytes = new byte[1024];
int i;
while ((i = bsrc.read(bytes)) != -1) {
crc.update(bytes, 0, i);
}
} catch (Exception e) {
logger.error("计算文件的CRC32循环冗余检验出错", e);
} finally {
if (bsrc != null) {
try {
bsrc.close();
} catch (IOException e) {
logger.error("计算文件的CRC32循环冗余检验出错", e);
}
}
}
return crc.getValue();
}
3.日志记录也有多种方法，第一种使用log4j，获取logger的方法如下: Logger logger = Logger.getLogger(ApArrangeCourseAuditController.class);
第二种使用slf4j,获取logger的方法如下: private Logger logger = LoggerFactory.getLogger(ExtUserController.class);