基于Java的数据采集（二）

在上一篇文章《基于Java的数据采集（一）》：http://www.cnblogs.com/lichenwei/p/3904715.html

提到了如何如何读取网页源代码，并通过group正则 动态抓取我们所需要的网页数据

现在来写下关于数据的存储，思路很简单，只需要在我们每次读取一个数据的时候，把数据存放在临时变量，然后插入数据库即可。

《基于Java数据采集入库（三）》：http://www.cnblogs.com/lichenwei/p/3907007.html

《基于Java数据采集入库（终结篇）》：http://www.cnblogs.com/lichenwei/p/3910492.html

先来建一个表：

DoMysql.java(数据库连接类，并提供插入数据的方法)

package com.lcw.curl;


import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;


public class DoMySql {
  
    //定义MySql驱动,数据库地址,数据库用户名 密码, 执行语句和数据库连接  
    public String driver = "com.mysql.jdbc.Driver";
    public String url = "jdbc:mysql://127.0.0.1:3306/football";
    public String user = "root";
    public String password = "";
    public Statement stmt = null;
    public Connection conn = null;
    
    //创建一个插入数据的方法
    public void datatoMySql(String insertSQl) {

        try {
            try {
                Class.forName(driver).newInstance();
            } catch (Exception e) {
            28                 e.printStackTrace();
            }
            //创建连接
            conn = DriverManager.getConnection(url, user, password);
            //创建一个 Statement 对象来将 SQL 语句发送到数据库
            stmt = conn.createStatement();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        try {
            //执行SQL 插入语句
            stmt.executeUpdate(insertSQl);
        } catch (SQLException e) {
            e.printStackTrace();
        }
        try {
            stmt.close();
            conn.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
    
}

 

GetData.java(过滤数据类)

package com.lcw.curl;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class GetData {
    
    /**
     * 
     * @param regex 正则表达式
     * @param content 所要匹配的内容
     * @return
     */
    public String getData(String regex,String content){
        Pattern pattern=Pattern.compile(regex, Pattern.CASE_INSENSITIVE);//设定正则表达式，不区分大小写
        Matcher matcher=pattern.matcher(content);
        if(matcher.find()){
            return matcher.group();
        }else{
            return "";
        }
    }

}

 

CurlMain.java主程序类：

package com.lcw.curl;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;

public class CurlMain {

    /**
     * @param args
     */
    public static void main(String[] args) {

        try {
            String address = "http://www.footballresults.org/league.php?league=EngDiv1";
            URL url = new URL(address);
            InputStreamReader inputStreamReader = new InputStreamReader(url
                    .openStream(), "utf-8");// 打开地址，以UTF-8编码的形式返回字节并转为字符
            BufferedReader bufferedReader = new BufferedReader(
                    inputStreamReader);// 从字符输入流中读取文本，缓冲各个字符，从而提供字符、数组和行的高效读取。

            GetData data = new GetData();
            DoMySql mySql = new DoMySql();
            String content = "";// 用来接受每次读取的行字符
            int flag = 0;// 标志,队伍信息刚好在日期信息后面,则正则相同，用于分离数据
            String dateRegex = "\\d{1,2}\\.\\d{1,2}\\.\\d{4}";// 日期匹配正则表达式
            String teamRegex = ">[^<>]*</a>";// 队伍匹配正则表达式
            String scoreRegex = ">(\\d{1,2}-\\d{1,2})</TD>";// 比分正则表达式
            String tempDate="";
            String teama="";
            String teamb="";
            String score="";
            int i = 0;// 记录信息条数
            String sql = "";

            while ((content = bufferedReader.readLine()) != null) {// 每次读取一行数据
                // 获取比赛日期信息
                String dateInfo = data.getData(dateRegex, content);
                if (!dateInfo.equals("")) {
                    System.out.println("日期:" + dateInfo);
                    tempDate=dateInfo;
                    flag++;
                }
                // 获取队伍信息，需先读到日期信息让标志符自增
                String teamInfo = data.getData(teamRegex, content);
                if (!teamInfo.equals("") && flag == 1) {
                    teama = teamInfo.substring(1, teamInfo
                            .indexOf("</a>"));
                    System.out.println("主队:" + teama);
                    flag++;
                } else if (!teamInfo.equals("") && flag == 2) {
                    teamb = teamInfo.substring(1, teamInfo
                            .indexOf("</a>"));
                    System.out.println("客队:" + teamb);
                    flag = 0;
                }
                // 获取比分信息
                String scoreInfo = data.getData(scoreRegex, content);
                if (!scoreInfo.equals("")) {
                    score = scoreInfo.substring(1, scoreInfo
                            .indexOf("</TD>"));
                    System.out.println("比分:" + score);
                    System.out.println();
                    i++;
                    sql = "insert into football(`date`,`teama`,`teamb`,`score`) values('"
                            + tempDate
                            + "','"
                            + teama
                            + "','"
                            + teamb
                            + "','"
                            + score + "')";
                    System.out.println(sql);
                    mySql.datatoMySql(sql);
                }

            }
            bufferedReader.close();
            System.out.println("一共收集到了" + i + "条信息");
        } catch (Exception e) {
            e.printStackTrace();
        }

    }

}

 

看下运行效果图：

 

下一篇文章：《基于Java的数据采集（三）》：http://www.cnblogs.com/lichenwei/p/3905370.html