文件名称:tor-link-scraper:从Tor网站上抓取URL并将其存储在rethinkdb数据库中
文件大小:5KB
文件格式:ZIP
更新时间:2024-05-31 17:38:33
JavaScript
友情链接刮板 从Tor网站上的起始URL抓取链接,访问这些链接,并抓取更多链接,等等。所有链接都存储在rethinkDB数据库中。 安装tor sudo apt-get install tor 检查tor是否正在运行 service tor status 安装全局依赖 npm install -g phantomjs npm install -g casperjs 安装rethinkdb 来自: : source /etc/lsb-release && echo "deb http://download.rethinkdb.com/apt $DISTRIB_CODENAME main" | sudo tee /etc/apt/sources.list.d/rethinkdb.list wget -qO- http://download.rethinkdb.com/apt/pubke
【文件预览】:
tor-link-scraper-master
----.gitignore(14B)
----helpers.js(2KB)
----args.js(749B)
----site-scrape.js(2KB)
----README.md(1KB)
----tor-scrape.js(2KB)