文件名称:Go-Geziyor是一个采用Go开发的超快的网页抓取框架
文件大小:50KB
文件格式:ZIP
更新时间:2022-09-02 21:15:47
Go开发-Web爬虫
Geziyor是一个采用Go开发的超快的网页抓取框架,用于抓取网站并从其网页中提取结构化数据。 它可用于各种用途,从数据挖掘到监控和自动化测试。
【文件预览】:
geziyor-master
----.travis.yml(255B)
----client()
--------response.go(1KB)
--------client_test.go(3KB)
--------client.go(7KB)
--------request.go(1KB)
----metrics()
--------metrics.go(3KB)
----cache()
--------leveldbcache()
--------cache_test.go(35KB)
--------diskcache()
--------cache.go(18KB)
--------memorycache()
----internal()
--------strings.go(497B)
----options.go(3KB)
----middleware()
--------duplicate_requests.go(487B)
--------delay_test.go(439B)
--------headers.go(548B)
--------robotstxt.go(2KB)
--------log_stats.go(402B)
--------metrics.go(467B)
--------middleware.go(562B)
--------allowed_domains.go(460B)
--------delay.go(718B)
--------parse_html.go(388B)
----geziyor_test.go(8KB)
----CONTRIBUTING.md(1KB)
----geziyor.go(8KB)
----export()
--------json_test.go(1KB)
--------csv_test.go(592B)
--------csv.go(1KB)
--------export.go(210B)
--------pprint.go(397B)
--------json.go(2KB)
----.gitignore(339B)
----go.sum(11KB)
----README.md(6KB)
----LICENSE.txt(16KB)
----go.mod(704B)