文件名称：Geziyor，一个用于Go的快速Web爬网和抓取框架。 支持JS渲染。-Golang开发
文件大小：52KB
文件格式：ZIP
更新时间：2024-06-15 08:41:19
Golang Web Crawling
Geziyor Geziyor是一个非常快速的Web爬网和Web抓取框架。 它可用于爬网网站并从中提取结构化数据。 Geziyor可用于多种用途，例如数据挖掘，监视和Geziyor。Geziyor是一种快速的快速Web爬网和Web抓取框架。 它可用于爬网网站并从中提取结构化数据。 Geziyor可用于多种用途，例如数据挖掘，监视和自动化测试。 功能JS渲染5.000+请求/秒缓存（内存/磁盘/ LevelDB）自动数据导出（JSON，CSV或自定义）指标（Prometheus，Expvar或自定义）限制并发（全局/每个域）请求延迟（恒定/随机化） ） 饼干，
【文件预览】：
geziyor-master
----client()
--------response_test.go(361B)
--------response.go(980B)
--------client.go(7KB)
--------client_test.go(4KB)
--------request.go(1KB)
----.gitignore(339B)
----go.mod(698B)
----middleware()
--------duplicate_requests_test.go(674B)
--------delay_test.go(439B)
--------parse_html.go(514B)
--------log_stats.go(446B)
--------allowed_domains.go(587B)
--------metrics.go(467B)
--------robotstxt.go(2KB)
--------middleware.go(562B)
--------delay.go(718B)
--------duplicate_requests.go(686B)
--------headers.go(548B)
----.travis.yml(266B)
----CONTRIBUTING.md(1KB)
----go.sum(12KB)
----LICENSE.txt(16KB)
----cache()
--------leveldbcache()
--------cache.go(18KB)
--------memorycache()
--------diskcache()
--------cache_test.go(35KB)
----README.md(6KB)
----export()
--------json.go(2KB)
--------csv.go(1KB)
--------json_test.go(1KB)
--------csv_test.go(592B)
--------export.go(216B)
--------pprint.go(397B)
----options.go(3KB)
----geziyor_test.go(8KB)
----internal()
--------strings.go(680B)
--------logger.go(87B)
----metrics()
--------metrics.go(3KB)
----geziyor.go(9KB)