文件名称：collyzar:基于分布式Redis的Web爬网程序框架
文件大小：27KB
文件格式：ZIP
更新时间：2024-04-09 02:01:41
Go
科利扎尔 基于分布式Redis的colly框架。 Collyzar提供了一个非常简单的配置和工具来实现分布式爬网/爬网。 特征 简单的配置和简洁的API 分布式抓取/抓取 内置全局布隆过滤器 内置蜘蛛缓存 支持redis命令 多机负载均衡 支持暂停或停止所有爬行机器 将其他信息传递给搜寻器，并将其放入搜寻器中，并将其存储在数据库中 安装 将collyzar添加到您的go.mod文件中： module github.com/x/y go 1.14 require ( github.com/Zartenc/collyzar/v2 latest ) 用法示例 有关更多详细示例，请参见。 履带式集群机 SpiderName必须是唯一的。 运行后，它将始终监视redis爬网程序队列是否进行爬网，直到收到暂停或停止信号为止。 func main(){ cs := &col
【文件预览】：
collyzar-master
----storage.go(2KB)
----bloom()
--------redisbloom.go(3KB)
----config.go(733B)
----examples()
--------visit_amazon_extend.go(568B)
--------push_redis.go(431B)
--------visit_amazon.go(358B)
--------stop_spiders.go(211B)
----.gitignore(18B)
----collyzar.go(11KB)
----cache.go(600B)
----go.sum(38KB)
----README.md(2KB)
----tool.go(1KB)
----go.mod(284B)