【文件属性】：
文件名称：dhtcrawler-cluster:BitTorrent DHT爬行群集
文件大小：21KB
文件格式：ZIP
更新时间：2021-05-18 05:29:39
crawler torrent cluster dht docker-images
dhtcrawler群集
群集项目，用于对BitTorrent DHT网络进行爬网并从远程BitTorrent客户端下载torrent文件元数据。
运行许多实例主机（爬网程序）以收集DHT信息哈希，下载其元数据，然后将其发送到基于的实例（收集器），该实例将验证torrent文件并将其存储到磁盘。
要求
发展
Python 3.5（和pip）
Node.js> = 0.12.0（和npm）
Redis服务器
aws cli（用于docker映像推送）
aria2（用于torrent索引脚本）
Docker部署
发展
1.1设置芹菜收集器
首先，安装Redis守护程序并启动它。 然后启动Celery worker，它将连接到localhost上的Redis实例：
$ cd collector
$ pyvenv venv
$ source venv/bin/activate
(ven
【文件预览】：
dhtcrawler-cluster-master
----crawler()
--------.gitignore(13B)
--------Dockerfile(885B)
--------package.json(549B)
--------package-lock.json(8KB)
--------.dockerignore(13B)
--------lib()
--------start.js(2KB)
----.gitignore(33B)
----aws()
--------setup-ec2-instance.sh(391B)
--------collector-task.json(736B)
--------push-containers.sh(480B)
--------crawler-task.json(594B)
----LICENSE(1KB)
----docker-compose.yml(550B)
----README.md(6KB)
----collector()
--------.gitignore(51B)
--------Dockerfile(829B)
--------tasks.py(4KB)
--------.dockerignore(25B)
--------celeryconfig.py(680B)
--------Pipfile.lock(4KB)
--------supervisor()
--------Pipfile(191B)
----torrents()
--------index.sh(167B)
--------rsync.sh(203B)