spider-utils:平时积累的爬虫工具

时间:2024-06-06 08:01:21
【文件属性】:

文件名称:spider-utils:平时积累的爬虫工具

文件大小:33KB

文件格式:ZIP

更新时间:2024-06-06 08:01:21

Java

目录结构 downloader(网页请求处理工具类) httpclientDownloader apache的Httpclient包封装网页下载器 JsoupDownloader Jsoup封装下载,支持get,post,设置header和代理 selector(网页解析工具类) RegexSelector 正则表达式选择器 strporcess(字符串处理工具类) MinimumEdiDistance 最小编辑距离算法实现类,对比字符串相似度 utils(utils) DataUtil 时间工具 FileUtils 文件处理,读写 MD5Utils 摘要算法,生成唯一指纹 UserAgentUtils 浏览器UA代理 PropertiesUtils 获取java Properties装备对象


【文件预览】:
spider-utils-master
----src()
--------main()
--------test()
----SpiderUtil.iml(2KB)
----pom.xml(2KB)
----README.md(644B)
----.idea()
--------misc.xml(8KB)
--------encodings.xml(200B)
--------libraries()
--------workspace.xml(74KB)
--------vcs.xml(180B)
--------uiDesigner.xml(9KB)
--------copyright()
--------compiler.xml(828B)
--------modules.xml(260B)

网友评论