【文件属性】:
文件名称:tor-link-scraper:从Tor网站上抓取URL并将其存储在rethinkdb数据库中
文件大小:5KB
文件格式:ZIP
更新时间:2021-05-11 23:51:53
JavaScript
友情链接刮板
从Tor网站上的起始URL抓取链接,访问这些链接,并抓取更多链接,等等。所有链接都存储在rethinkDB数据库中。
安装tor
sudo apt-get install tor
检查tor是否正在运行
service tor status
安装全局依赖
npm install -g phantomjs
npm install -g casperjs
安装rethinkdb
来自: :
source /etc/lsb-release && echo "deb http://download.rethinkdb.com/apt $DISTRIB_CODENAME main" | sudo tee /etc/apt/sources.list.d/rethinkdb.list
wget -qO- http://download.rethinkdb.com/apt/pubke
【文件预览】:
tor-link-scraper-master
----.gitignore(14B)
----helpers.js(2KB)
----args.js(749B)
----site-scrape.js(2KB)
----README.md(1KB)
----tor-scrape.js(2KB)