Java实现网页数据采集

时间:2021-02-27 18:39:40

最近,由于某些需要,用Java制做了一个网页数据采集器,用于将网页中需要的数据采集下来。

这里使用的方法,是先得到要采集的网页的源代码,然后从源代码中使用正则表达式得到要采集的数据。


用以下代码,我们就可以得到要采集数据的网站的源代码,并且在控制台输出。

        String urlStr = ""; // 网址
try {
//创建一个url对象来指向要采集信息的网址
URL url = new URL(urlStr);
//将读取到的字节转化为字符
InputStreamReader inStrRead = new InputStreamReader(url.openStream(),"utf-8");
//读取InputStreamReader转化成的字符
BufferedReader bufRead = new BufferedReader(inStrRead);
//读到的内容不为空
while (bufRead.readLine() != null) {
System.out.println(bufRead.readLine());
}
bufRead.close();
} catch (IOException e) {
e.printStackTrace();
}

测试一下,这里使

String urlStr = "http://datacenter.mep.gov.cn/report/air_daily/air_dairy.jsp?&lang=";

在控制台输出如下结果。
Java实现网页数据采集

得到网页的源代码之后,我们就可以使用正则表达式来得到要采集的数据。

我们先查看网页源代码,对源代码进行分析。
Java实现网页数据采集
Java实现网页数据采集

这里想要采集的数据是

  • 城市
  • 时间
  • AQI指数
  • 空气质量级别

以北京市为例进行分析,我们得到如下正则表达式

    // 城市正则
private String regularCity = ">[\u4e00-\u9fa5]{2,}市</td>";
// 日期正则
private String regularDate = ">(([0-9]{3}[1-9]|[0-9]{2}[1-9][0-9]{1}|[0-9]{1}[1-9][0-9]{2}|[1-9][0-9]{3})-(((0[13578]|1[02])-(0[1-9]|[12][0-9]|3[01]))|((0[469]|11)-(0[1-9]|[12][0-9]|30))|(02-(0[1-9]|[1][0-9]|2[0-8]))))</td>";
// AQI指数正则
private String regularAQI = ">[0-9]{2,}</td>";
// 空气质量级别正则
private String regularQuality = ">[\u4e00-\u9fa5]</td>";

我们先定义一个方法,使用我们定义的正则表达式和得到的网页源代码采集数据。

    /*
* 从网页源代码中采集数据
*
* @param regular 正则
*
* @param code 源代码
*/

public String DataAcqu(String regular, String code) {
// 编译正则表达式
Pattern p = Pattern.compile(regular, Pattern.CASE_INSENSITIVE);
Matcher m = p.matcher(code);

if (m.find()) {
// 返回采集到的数据
return m.group();
} else {
return "";
}
}

然后就可以进行数据采集了。

    public DataCode() {
// 用户输入网页地址
Scanner scan = new Scanner(System.in);
// 存储用户输入的网页地址
String urlStr = scan.nextLine();

try {
//创建一个url对象来指向要采集信息的网址
URL url = new URL(urlStr);
//将读取到的字节转化为字符
InputStreamReader inStrRead = new InputStreamReader(url.openStream(),
"utf-8");
//读取InputStreamReader转化成的字符
BufferedReader bufRead = new BufferedReader(inStrRead);
String readStr = "";
// 创建一个DataAcqu类的对象(前面自己定义的用于采集数据的类)
DataAcqu dataAcq = new DataAcqu();

int i = 0; // 记录采集到的数据数量
// 如果读到的数据不为空
while ((readStr = bufRead .readLine()) != null) {
// 采集城市数据
String cityStr = dataAcq.DataAcqu(regularCity, readStr);
// 如果采集到符合条件的数据,打印出来
if (!cityStr.equals("")) {
// 将采集到的数据前后多余部分去掉(前面正则表达式为了准确取到相应的值,加入了">"和"</td>")
cityStr = cityStr.substring(1, cityStr.indexOf("</td>"));
System.out.println("城市:" + cityStr);
}

// 采集日期数据
String dateStr = dataAcq.DataAcqu(regularDate, readStr);
// 如果采集到符合条件的数据,打印出来
if (!dateStr.equals("")) {
dateStr = dateStr.substring(1, dateStr.indexOf("</td>"));
System.out.println("日期:" + dateStr);
}

// 采集AQI指数数据
String AQIStr = dataAcq.DataAcqu(regularAQI, readStr);
// 如果采集到符合条件的数据,打印出来
if (!AQIStr.equals("")) {
AQIStr = AQIStr.substring(1, AQIStr.indexOf("</td>"));
System.out.println("AQI指数:" + AQIStr);
}

// 采集空气质量级别数据
String qualityStr = dataAcq.DataAcqu(regularQuality, readStr);
// 如果采集到符合条件的数据,打印出来
if (!qualityStr.equals("")) {
qualityStr = qualityStr.substring(1,
qualityStr.indexOf("</td>"));
System.out.println("空气质量级别:" + qualityStr);
System.out.println();
i++;
}
}
br.close(); // 读取完成后关闭读取器
System.out.println("采集完成,共采集到数据:" + i);
} catch (IOException e) {
e.printStackTrace();
}
}

运行后,控制台输出如下信息
Java实现网页数据采集

如果想要将输出结果输出的文件中,只需在代码中添加如下代码

            // 将数据输出到文件
PrintStream ps = new PrintStream("E:\\Java\\DataAcquisition\\data");
//将输出位置切换到文件
System.setOut(ps);

Java实现网页数据采集

这样,我们的网页数据采集器就完成了。