文件名称:webmagic:https
文件大小:1.35MB
文件格式:ZIP
更新时间:2024-06-03 05:11:05
Java
可扩展的搜寻器框架。 它涵盖了爬虫的整个生命周期:下载,URL管理,内容提取和持久性。 它可以简化特定搜寻器的开发。 特征: 核心简单,灵活性高。 用于html提取的简单API。 使用POJO进行注释以自定义搜寻器,无需配置。 多线程和分发支持。 易于集成。 安装: 将依赖项添加到您的pom.xml中: < dependency> < groupId>us.codecraft groupId> < artifactId>webmagic-core artifactId> < version>0.5.2 version> dependency> < dependency> < groupId>us.codecraft groupId> < artifactId>webmagic-extensio