文件名称：dhtcrawler-cluster:BitTorrent DHT爬行群集
文件大小：21KB
文件格式：ZIP
更新时间：2024-06-06 23:16:19
crawler torrent cluster dht docker-images
dhtcrawler群集 群集项目，用于对BitTorrent DHT网络进行爬网并从远程BitTorrent客户端下载torrent文件元数据。 运行许多实例主机（爬网程序）以收集DHT信息哈希，下载其元数据，然后将其发送到基于的实例（收集器），该实例将验证torrent文件并将其存储到磁盘。 要求 发展 Python 3.5（和pip） Node.js> = 0.12.0（和npm） Redis服务器 aws cli（用于docker映像推送） aria2（用于torrent索引脚本） Docker部署 发展 1.1设置芹菜收集器 首先，安装Redis守护程序并启动它。 然后启动Celery worker，它将连接到localhost上的Redis实例： $ cd collector $ pyvenv venv $ source venv/bin/activate (ven
【文件预览】：
dhtcrawler-cluster-master
----crawler()
--------.gitignore(13B)
--------Dockerfile(885B)
--------package.json(549B)
--------package-lock.json(8KB)
--------.dockerignore(13B)
--------lib()
--------start.js(2KB)
----.gitignore(33B)
----aws()
--------setup-ec2-instance.sh(391B)
--------collector-task.json(736B)
--------push-containers.sh(480B)
--------crawler-task.json(594B)
----LICENSE(1KB)
----docker-compose.yml(550B)
----README.md(6KB)
----collector()
--------.gitignore(51B)
--------Dockerfile(829B)
--------tasks.py(4KB)
--------.dockerignore(25B)
--------celeryconfig.py(680B)
--------Pipfile.lock(4KB)
--------supervisor()
--------Pipfile(191B)
----torrents()
--------index.sh(167B)
--------rsync.sh(203B)