通过quartz定时任务完成对FTP服务器上文档的下载

时间：2022-03-17 07:50:43

一、FTP工具使用apache的FTPClient，jar包下载路径 http://download.csdn.net/detail/enterys/9203257

二、spring quartz定时任务配置

<!-- 任务 -->
 <bean id="downFtp" class="org.springframework.scheduling.quartz.JobDetailBean">
 	<property name="jobClass" value="com.oec.tsm.ui.sim.ftp.task.FtpTask"></property>
 	<property name="jobDataAsMap">
 		<map>
 			<entry key="timeout" value="0" ></entry>
 		</map>
 	</property>
 </bean>
 <!-- 触发器 -->
 <bean id="cronTrigger" class="org.springframework.scheduling.quartz.CronTriggerBean">
 	<property name="jobDetail" ref="downFtp"></property>
 	<property name="cronExpression" value="0 * 14 * * ?"></property>
 </bean>
 <!-- 调度 -->
 <bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
 	<property name="triggers">
 		<list>
 			<ref bean="cronTrigger"></ref>
 		</list>
 	</property>
 </bean>

三、定时任务执行类和实现FTP下载的方法, 

package com.oec.tsm.ui.sim.ftp.task;

import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.springframework.scheduling.quartz.QuartzJobBean;


/**
 * 定时在ftp服务器上获取漏扫报告
 * @author ys
 *
 */
public class FtpTask extends QuartzJobBean {
	
	protected Log log = LogFactory.getLog(getClass());
	
	private static String encoding = System.getProperty("file.encoding");
	
	private int timeout ;
	
	private static int i =0;
	
	private static Properties properties;
	
	private static long lastTime=0;
	
	private static Map<String,String> map = new HashMap<String, String>();
	
	public void setTimeout(int timeout){
		this.timeout=timeout;
	}
	
	@Override
	protected void executeInternal(JobExecutionContext arg0)
			throws JobExecutionException {
		log.error("开始执行FtpTask定时任务。。。。。。。"+new Date());
		isLoad();
		//通过配置文件加载FTP服务器的信息
		String url = properties.getProperty("url");
		String path=properties.getProperty("path");
		String username = properties.getProperty("username");
		String password = properties.getProperty("password");
		int host = Integer.valueOf(properties.getProperty("host"));
		//下载路径
		String dowbpath = this.getClass().getClassLoader().getResource("").getPath(); 
		dowbpath=dowbpath+"/rsas";
		OutputStream out =null;
		try {
			FTPClient client=new FTPClient();
			client.connect(url, host);
			client.setControlEncoding(encoding);
			boolean login = client.login(username, password);
			if(login){
				log.error("ftp服务器登录成功："+url);
			}else{
				log.error("ftp服务器登录失败。。。。。");
			}
			//获取到所有的待下载文件
			client.changeWorkingDirectory(new String(path.getBytes(encoding)));
			FTPFile[] listFiles = client.listFiles();
			//遍历待下载文件
			for (FTPFile ftpFile : listFiles) {
				String name = ftpFile.getName();
				//判断该文件是否已经下载，如果已经在本地存在，则不下载
				if(null==map.get(name)){
					client.setFileType(FTPClient.BINARY_FILE_TYPE);
					  out = new BufferedOutputStream(new FileOutputStream(dowbpath+"/"+name));
					 boolean retrieveFile = client.retrieveFile(ftpFile.getName(), out);
					 if(!retrieveFile){
					    log.error("从FTP服务器下载文件"+name+"失败了。。。。");
				      } 
					 log.info("从FTP服务器上下载"+name+"文件成功......");
				}else{
					log.info("FTP服务器上的"+name+"文件已经被下载.故不在重新下载.......");
				}
			}
			client.logout();
		} catch (IOException e) {
			log.error("FTP服务器连接失败："+e,e);
		}finally{
			 try {
				 if(null!=out){
					 out.close();
				 }
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
		
		
	}
	
	/**
	 * 判断是否要加载配置文件，避免频繁的加载配置文件，导出配置文件损坏
	 * 还要加载一次本地已经下载的文件，对从ftp上下载文件进行对比，如果存在则不下载
	 */
	protected void isLoad(){
		File file =new File("../../../../conf/ftp.properties");
		if(lastTime!=file.lastModified()){
			loadProperties();
		}
		
		//获取所有本地已经下载的文件，装在map中，为下载时判断时候存在作为依据
		String path = this.getClass().getClassLoader().getResource("").getPath(); 
		path=path+"/rsas";
		File bd=new File(path);
		File[] listFiles = bd.listFiles();
		if(null!=listFiles){
			map.clear();//每次加载时都清空
			for (File file2 : listFiles) {
				map.put(file2.getName(), path);
			}
		}
	}
	
	/**
	 * 加载配置ftp服务器信息的文件
	 */
	protected void loadProperties(){
		properties=new Properties();
		String url="../../../../conf/ftp.properties";
		try {
			InputStream in =new BufferedInputStream(new FileInputStream(url));
			properties.load(in);
		} catch (FileNotFoundException e) {
			log.error("ftp.properties配置文件未找到："+e,e);
		} catch (IOException e) {
			log.error("ftp.properties配置文件读取失败："+e,e);
		}
		
	}
	
}


在上述FTP下载文档，有太多的时间来解决乱码问题，博主各种搜索且各种尝试，终于让楼主找到了解决办法，


注意：    

在FTP协议里面，规定文件名编码为iso-8859-1，所以目录名或文件名需要转码。接下来的问题是，我们应该将什么编码转换为此格式。因此，就有了第二种解决方案——把 GBK格式的转换为ISO-8859-1格式。而且，有的人还说，必须得这么转。其实，之所以他们能这么说，我觉得完全是巧合。它的真正原理是，既然 FTP协议规定的编码格式是“ISO-8859-1”，那么我们确实得将格式转换一下，然后等服务器收到文件时再自动转换为系统自带的编码格式，因此，关键不是规定为什么格式，而是取决于FTP服务器的编码格式。因此，如果FTP系统的编码格式为“GBK”时，第二种方式肯定会成功；但是，如果系统的编码格式为“UTF-8”时，那就会仍然出现乱码啦。所以，我们只能通过代码先获取系统的编码格式，然后通过此编码格式转换为ISO-8859-1的编码格式。获取方式如下：
private static String encoding = System.getProperty("file.encoding");
以上代码均通过自己测试，望能为大家解决一下问题！ 


标签：

相关文章