【文件属性】：
文件名称：owlcrawler:使用nats.io和Go爬网
文件大小：62KB
文件格式：ZIP
更新时间：2021-05-05 20:04:52
Go
猫头鹰爬行者
这是一个分布式的网络爬虫，它使用协调以Go语言编写的工作。
依存关系
CouchDB 1.x（在1.6.1上测试）
gna
建造。
建立两个工人
go build -tags=fetcherExec -o fetcher fetcher.go && \
go build -tags=extractorExec -o extractor extractor.go
设置
使用至少一个管理员用户来设置ouchdb，您可以按照的说明进行操作
创建一个文件.couchdb.json并将其放在$HOME目录中
样本.couchdb.json
```
{“用户”：“此处用户”，“密码”：“超级秘密密码”，“网址”：“ ”}
```
创建一个文件.gnatsd.json并将其放置在$HOME目录中
样本.gnatsd.json
```
{
"URL": "nats://o
【文件预览】：
owlcrawler-master
----.gitignore(202B)
----couchdb()
--------couchdb_test.go(341B)
--------couchdb.go(10KB)
--------views.json(2KB)
----LICENSE(11KB)
----ansible()
--------hosts()
--------fetchservers.yml(302B)
--------extractservers.yml(310B)
--------etcdservers.yml(208B)
--------site.yml(224B)
--------dbservers.yml(131B)
--------roles()
--------vars()
--------playbooks()
--------natsdservers.yml(246B)
----extractor.go(3KB)
----README.md(1KB)
----run.sh(147B)
----cloudant()
--------cloudant.go(7KB)
----build.sh(125B)
----elasticsearch()
--------elastic_search.go(5KB)
----webapp()
--------.gitignore(40B)
--------app()
--------package.json(1KB)
--------.bowerrc(38B)
--------Gruntfile.js(11KB)
--------main.go(5KB)
--------.yo-rc.json(27B)
--------bower.json(426B)
----parse()
--------parse.go(4KB)
--------parse_test.go(7KB)
----fetcher.go(3KB)