文件名称：antch：Antch，一个快速，强大，可扩展的Go爬网和抓取框架
文件大小：24KB
文件格式：ZIP
更新时间：2024-02-25 13:37:42
golang crawler framework web-crawler scraping
安奇 Antch，灵感来自 。 如果您熟悉scrapy，则可以快速入门。 Antch是Go的一种快速，强大且可扩展的Web爬网和抓取框架，用于抓取网站并从其页面提取结构化数据。 开始使用 按照入门说明启动第一个蜘蛛。 产品特点 礼貌，高度并发的Web搜寻器。 功能强大且可自定义的HTTP中间件。 网络蜘蛛的项目数据管道。 内置代理支持（HTTP，HTTPS，SOCKS5）。 对HTML / XML文档的内置XPath查询支持。 易于使用并与您的项目集成。 例子 -Bing每日壁纸。 文献资料 参见
【文件预览】：
antch-master
----compression.go(2KB)
----contrib()
--------dupefilter()
----Gopkg.toml(1KB)
----spider.go(903B)
----crawler.go(12KB)
----html.go(2KB)
----logger.go(309B)
----xml.go(221B)
----middleware.go(792B)
----.travis.yml(309B)
----robotstxt_test.go(2KB)
----LICENSE(1022B)
----xml_test.go(320B)
----Gopkg.lock(3KB)
----main_test.go(474B)
----json.go(291B)
----README.md(2KB)
----crawler_test.go(2KB)
----cookies.go(852B)
----proxy.go(3KB)
----.gitignore(306B)
----compression_test.go(1KB)
----pipeline.go(541B)
----json_test.go(315B)
----cookies_test.go(1KB)
----robotstxt.go(2KB)
----html_test.go(2KB)
----proxy_test.go(3KB)