go爬虫框架

【文件属性】：
文件名称：go爬虫框架
文件大小：24KB
文件格式：ZIP
更新时间：2021-02-11 11:23:08
网络爬虫框架 go爬虫框架，快速的，强大的，可扩展的爬虫框架。持robots.txt * 支持自定义模块 * 支持Item管道处理 * 支持多种代理协议(socks5,http,https) * 支持XPath查询HTML/XML数据 * 做为框架，易于上手。

【文件预览】：
antchfx-antch-3224988
----.travis.yml(309B)
----html_test.go(2KB)
----compression_test.go(1KB)
----main_test.go(474B)
----robotstxt.go(2KB)
----cookies_test.go(1KB)
----spider.go(903B)
----crawler_test.go(2KB)
----LICENSE(1022B)
----compression.go(2KB)
----middleware.go(792B)
----logger.go(309B)
----crawler.go(12KB)
----proxy_test.go(3KB)
----xml_test.go(320B)
----pipeline.go(541B)
----xml.go(221B)
----proxy.go(3KB)
----.gitignore(306B)
----cookies.go(852B)
----robotstxt_test.go(2KB)
----README.md(1KB)
----contrib()
--------dupefilter()
----Gopkg.toml(886B)
----Gopkg.lock(2KB)
----html.go(2KB)