webmagic 学习(1)-- 基础流程

多少次都告诫自己要努力写代码，开发出自己的东西，之前一直在看着别人的网站抓取数据，很是羡慕啊，都不知道还有爬虫这一说，一直以来都是使用ssh 的定时启动。我并不会很表达，就是发现webmagic 真的是一个很牛逼的工具。好了，现在开始我现在的爬虫实战。

1. 基础安装教程。

请到官网查看： http://webmagic.io/

2. 编写的注意流程。

要实现一个最基本的爬虫，我环境搭建就花了一天搭建maven 。其实很简单，就是实现PageProcessor 这个类的接口。

public class GithubRepoPageProcessor implements PageProcessor {

// 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

@Override
// process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
public void process(Page page) {
// 部分二：定义如何抽取页面信息，并保存下来
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
if (page.getResultItems().get("name") == null) {
//skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));

// 部分三：从页面发现后续的url地址来抓取
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
    }

@Override
public Site getSite() {
return site;
    }

public static void main(String[] args) {

        Spider.create(new GithubRepoPageProcessor())
//从"https://github.com/code4craft"开始抓
                .addUrl("https://github.com/code4craft")
//开启5个线程抓取
                .thread(5)
//启动爬虫
                .run();
    }
}

 @Override报错是jdk 编译器的问题， 如果碰到请选择 1.6的编译器。 1.5就会报错

直接运行这个java类的话，会出现

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

SLF4J: Defaulting to no-operation (NOP) logger implementation

SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

这个请直接 SLF4J 官网下载 SLF4J-nop.jar 或者maven里添加。

3. 仔细看完上面那个类之后，控制台已经能很轻松抓取了。我一直在理解上面每一句代码的意思，当然，作为一个新手来说，这个有点太高端了。

在理解代码的路上我也走了很多的弯路，完全不知道这个怎么回事，

正值表达式的学习请查看

秒客网

webmagic 学习(1)-- 基础流程

相关文章