Java读取并下载网络文件

 

CreateTime--2017年8月21日10:11:07

Author:Marydon

import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;

/**
 * Java读取并下载网络文件
 * @author Marydon
 * @createTime 2017年8月18日下午5:24:09
 * @updateTime
 * @Email:[e-mail]
 * @version:1.0.0
 * @referenceLink
 *  <a href="http://blog.csdn.net/xb12369/article/details/40543649/"> java 从网络Url中下载文件</a>
 */
public class DownloadFromNetwork {
    /**
     * 从网络Url中下载文件
     * @param urlStr
     * @param fileName
     * @param savePath
     * @throws IOException
     */
    public static void  downLoadFromUrl(String urlStr,String fileName,String savePath) throws IOException{
        URL url = new URL(urlStr);
        HttpURLConnection conn = (HttpURLConnection)url.openConnection();
                //设置超时间为3秒
        conn.setConnectTimeout(3*1000);
        //防止屏蔽程序抓取而返回403错误
        conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");  

        //得到输入流
        InputStream inputStream = conn.getInputStream();
        //获取自己数组
        byte[] getData = readInputStream(inputStream);      

        //文件保存位置
        File saveDir = new File(savePath);
        if(!saveDir.exists()){
            saveDir.mkdirs();
        }
        File file = new File(saveDir+File.separator+fileName);
        FileOutputStream fos = new FileOutputStream(file);
        fos.write(getData);
        if(fos!=null){
            fos.close();
        }
        if(inputStream!=null){
            inputStream.close();
        }  

        System.out.println("info:"+url+" download success");   

    }  

    /**
     * 从输入流中获取字节数组
     * @param inputStream
     * @return
     * @throws IOException
     */
    public static  byte[] readInputStream(InputStream inputStream) throws IOException {
        byte[] buffer = new byte[1024];
        int len = 0;
        ByteArrayOutputStream bos = new ByteArrayOutputStream();
        while((len = inputStream.read(buffer)) != -1) {
            bos.write(buffer, 0, len);
        }
        bos.close();
        return bos.toByteArray();
    }    

}

测试：

public static void main(String[] args) {
    try{
        for (int i = 201; i <=520; i++) {
            downLoadFromUrl("https://ss1.bdstatic.com/kvoZeXSm1A5BphGlnYG/skin/" + i + ".jpg",i + ".jpg","E:/Downloads/wallpaper/baiduSkin");
        }
    }catch (Exception e) {
        e.printStackTrace();
    }
}

说明：

　　上面的方法适用于URL就是要文件下载地址（如图片），批量下载的话，也必须是有规律可询的才行，该网页有且只有一个文件

　　比如：要想下载某个网页上所有的网络图片，使用这种方法会变得比较繁琐，因为你必须精确的知道该网页上每个图片的有效网址，

　　当批量下载单个网页上的图片时，我总结了两套方案：

　　方案一：javascript+java（基于这种方式的实现），详情请移步至：批量下载图片

　　方案二：纯java实现，详情请移步至：自定义-网络图片下载工具类

相关推荐：

• 批量下载图片
• 自定义-网络图片下载工具类