使用jsoup轻松爬数据

刚刚学习爬虫，感觉使用jsoup爬虫挺容易的。记录一下自己爬取数据的过程。

Jsoup介绍：

Jsoup 是一个 Java 的开源HTML解析器，可直接解析某个URL地址、HTML文本内容。使用Jsoup首先需要引入Jsoup.jar包或者添加依赖，可以到Jsoup官网查看。

elements类相当于网页元素中的标签，而select（）方法用于按一定条件选取符合条件的标签，组成符合条件的标签数组。element支持转成字符串或者文本等。总之功能很强大。只需要了解一下select（）方法的过滤规则即可上手用了。但是有了谷歌浏览器！过滤规则都不用管了，直接上手用！

来个简单的示例： 

爬取一下我们平时使用百度搜索的网页，首先用谷歌浏览器打开百度网页，打开开发者模式(快捷键ctrl+shift+I)。

右键点击代码行，copy–>copy selector 

可以贴出来看看copy到的东西：

head > title

表明了目标在网页代码中的位置，每个>前后面都代表一个检索条件。那么我们要得到这个标签，只要这样写：

String URL="https://www.baidu.com/"; //目标网址
Document doc=Jsoup.connect(URL).get();
 //在下载的document里进行检索的语句
Elements test=doc.select("head").select("title");
//这样test标签就是我们最开始右键单击检查的标签
String str=test.toString();//将标签转化成字符串
String text=test.text();//将标签里的文本提取出来
System.out.println(str);
System.out.println(text);                   

 

运行结果：

<title>百度一下，你就知道</title>
百度一下，你就知道