【文件属性】：
文件名称：WebMagic 0.5.2
文件大小：6.58MB
文件格式：RAR
更新时间：2020-11-01 10:32:29
java爬虫
webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
webmagic包含页面抽取功能，开发者可以使用css selector、xpath和正则表达式进行链接和内容的提取，支持多个选择器链式调用。