文件名称：gospider::high_voltage: Light weight Golang spider framework | 轻量的 Golang 爬虫框架
文件大小：64KB
文件格式：ZIP
更新时间：2024-05-25 04:08:23
go golang spider crawl spider-framework
Gospider Gospider - Goreq - Gospider是一个轻量友好的的Go爬虫框架。 Gospider在管理网络请求方面使用了Goreq。 这样分割项目使功能划分更加明确，Gospider负责管理调度任务，Goreq负责处理网络请求。 在Gospider中的goreq.Request、goreq.Response和goreq.Client由Goreq提供。 :rocket: Feature 优雅的 API 便于组织具有复杂层级和逻辑的代码 友善的分布式支持 一些细节 相对链接自动转换、字符编码自动解码、HTML/JSON 自动解析 丰富的扩展支持 自动去重、失败重试、记录异常请求、控制延时、随机延时、并发、速率、Robots.txt 支持、随机 UA 轻量 适于学习或快速开箱搭建 :high_voltage: 网络请求 go get -u github.com/zhshch2002/goreq Gospid
【文件预览】：
gospider-master
----go.mod(353B)
----.github()
--------workflows()
----ext_test.go(3KB)
----go.sum(9KB)
----spider.go(6KB)
----spider_test.go(4KB)
----tool.go(547B)
----LICENSE(11KB)
----_example()
--------basic.go(581B)
--------abort.go(517B)
--------meta.go(571B)
--------middleware.go(646B)
--------struct.go(2KB)
--------pipeline.go(755B)
----README.md(4KB)
----ext.go(3KB)
----_doc()
--------index.md(13KB)
--------flowchart.png(41KB)
----.gitignore(440B)
----task.go(2KB)