文件名称：owlcrawler:使用nats.io和Go爬网
文件大小：62KB
文件格式：ZIP
更新时间：2024-05-25 13:51:32
Go
猫头鹰爬行者 这是一个分布式的网络爬虫，它使用协调以Go语言编写的工作。 依存关系 CouchDB 1.x（在1.6.1上测试） gna 建造。 建立两个工人 go build -tags=fetcherExec -o fetcher fetcher.go && \ go build -tags=extractorExec -o extractor extractor.go 设置 使用至少一个管理员用户来设置ouchdb，您可以按照的说明进行操作 创建一个文件.couchdb.json并将其放在$HOME目录中 样本.couchdb.json ``` {“用户”：“此处用户”，“密码”：“超级秘密密码”，“网址”：“ ”} ``` 创建一个文件.gnatsd.json并将其放置在$HOME目录中 样本.gnatsd.json ``` { "URL": "nats://o
【文件预览】：
owlcrawler-master
----.gitignore(202B)
----couchdb()
--------couchdb_test.go(341B)
--------couchdb.go(10KB)
--------views.json(2KB)
----LICENSE(11KB)
----ansible()
--------hosts()
--------fetchservers.yml(302B)
--------extractservers.yml(310B)
--------etcdservers.yml(208B)
--------site.yml(224B)
--------dbservers.yml(131B)
--------roles()
--------vars()
--------playbooks()
--------natsdservers.yml(246B)
----extractor.go(3KB)
----README.md(1KB)
----run.sh(147B)
----cloudant()
--------cloudant.go(7KB)
----build.sh(125B)
----elasticsearch()
--------elastic_search.go(5KB)
----webapp()
--------.gitignore(40B)
--------app()
--------package.json(1KB)
--------.bowerrc(38B)
--------Gruntfile.js(11KB)
--------main.go(5KB)
--------.yo-rc.json(27B)
--------bower.json(426B)
----parse()
--------parse.go(4KB)
--------parse_test.go(7KB)
----fetcher.go(3KB)