http://ayang1588.github.io/blog/2013/04/08/catchdata/
最近处于离职状态，正赶清闲，开始着手自己的毕业设计，课题定的是JavaWeb购物平台，打算用SpringMVC+MyBatis实现，打算添加缓存服务器，用什么还没有想好，依赖用Maven管理，数据库用MySql，IDE就用Inetllij IDEA。
购物平台业务都差不多，平时经常使用，业务大家都比较熟悉，我打算模拟当当网，所以昨天直接把数据库设计好，并建了起来，今天打算准备数据，可是product表和book表的字段稍微有点多，如果上网一个一个的摘录，肯定是不行事儿的，也不是coder做的事儿，要准备多的数据，又是重复的事儿，何不让计算机帮你干。所以打算用Java程序抓取现当当网的数据，提取自己想要的，并直接存入数据库。经过一下午的努力基本实现了功能，由于分类并不打算和当当网的分类一样那么多，所以实现了符合自己的半自动化数据抓取功能。可以实现输入当当网的类别（category_path），和起始结束页，自动填充数据库中对应对象。
最开始用的正则匹配抓取内容，后来发现太麻烦了，正则左一斜杠右一斜杠的，又转义又拼接，一会就晕了，所以放弃了，改为像操作Dom树一样进行抓取，用到的开源包Jsoup（文档），也支持像CSS过滤器一样过滤节点，很方便。但是这样并不支持获取js及ajax访问返回数据后的页面，但用htmlunit可以解决这个问题，htmlunit：传说中Java程序员的浏览器，具体使用不太难，就是模拟浏览器，设置好相关属性就可以开始访问了。这里有一篇淘宝关于定向抓取的介绍，大家可以看看（定向抓取漫谈）。
以下是我访问当当数据的类（其余的就不贴了，数据库存储用的最原始的JDBC，没什么好说的，这个只是随便写个大概，够自己用了，其实完全可以拓展成通用的工具类，我就不封装了，本来就挺方便的，直接用也就够了），如果哪里有问题请记得及时给我留言：
public class Utils {
// UrlVo类存放了3个url，列表图片url，详细信息中的图片url，和商品详细信息url
// 再通过这三个url可以把所有数据读取出来并封装成对象，然后存入数据库。
// 同时将所用到的图片下载到本地。
/**
* 从一个页面获取该页面商品详细信息的url链接和小图片的链接地址
* @param url
* @return
* @throws
*/
public static void getBookUrlFromPage(String url, List list) throws Exception{
// timeout 0:不断请求 默认:2000毫秒超时
Document document = Jsoup.connect(url).timeout(0).get();
Elements node = document.select(".resultlist");
Elements elements = node.get(0).child(0).children();
for (Element item : elements) {
UrlVO urlVO = new UrlVO();
urlVO.setProductDetailUrl(item.child(1).child(0).child(0).child(0).attr("href"));
urlVO.setSmallImageUrl(item.child(0).child(0).child(0).attr("src"));
list.add(urlVO);
}
}
/**
* 根据url和页数获取商品详细url
* @param url
* @param startPage
* @param endPage
* @param list
*/
public static void getBookUrlByUrlAndPageNum(String url, Integer startPage, Integer endPage, List list) {
try {
for(int i = startPage; i <= endPage; i++) {
String urlStr = url + i;
Utils.getBookUrlFromPage(urlStr, list);
}
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 根据商品详细页面获取Product对象
* @param url
* @return
*/
public static Product getProductFromUrl(String url) {
//这里有些数据利用jsoup获取不到
//我用的是htmlunit，设置setJavaScriptEnabled，setAjaxController等参数
//具体代码就不贴了，大家可以自己试试
//如有需要，求留言
return null;
}
/**
* 根据图片url和文件名保存图片
* @param urlStr
* @param filename
*/
public static void saveImageByUrlAndName(String urlStr, String filename) throws Exception{
// 构造URL
URL url = new URL(urlStr);
// 打开连接
URLConnection con = url.openConnection();
// 输入流
InputStream is = con.getInputStream();
// 1K的数据缓冲
byte[] bs = new byte[1024];
// 读取到的数据长度
int len;
// 输出的文件流
OutputStream os = new FileOutputStream(filename);
// 开始读取
while ((len = is.read(bs)) != -1) {
os.write(bs, 0, len);
}
os.flush();
// 关闭连接
os.close();
is.close();
}
// 测试及调用
public static void main(String[] args) {
List<UrlVO> list = new ArrayList<UrlVO>();
try {
getBookUrlByUrlAndPageNum("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=", 1, 2, list);
// getBookUrlFromPage("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=2", list);
} catch (Exception e) {
e.printStackTrace();
}
System.out.println(list.size());
// 保存图片
// String urlStr = "http://img32.ddimg.cn/28/35/23207212-1_l.jpg";
// try {
// saveImageByUrlAndName(urlStr, "1.jpg");
// } catch (Exception e) {
// e.printStackTrace();
// }
}
}