文件名称:spider-flow:新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫
文件大小:1.78MB
文件格式:ZIP
更新时间:2024-04-08 16:29:25
crawler spider web-crawler jsoup xpath
||| ||||| 介绍 平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台 特性 支持Xpath / JsonPath / css选择器/正则提取/混搭提取 支持JSON / XML /二进制格式 支持多数据源,SQL select / selectInt / selectOne / insert / update / delete 支持爬取JS动态渲染(或ajax)的页面 支持代理 支持自动保存至数据库/文件 常用字符串,日期,文件,加解密等函数 支持插件扩展(自定义执行器,自定义方法) 任务监控,任务日志 支持HTTP接口 支持Cookie自动管理 支持自定义函数 插件 项目部分截图 爬虫列表 爬虫测试 除错 日志 其他开源项目 免责声明 请勿将spider-flow应用到任何可能会违反法律规定和道德约束的工作中,请友善使用spider-flow ,遵守蜘蛛协议,不要将spi