tor-link-scraper:从Tor网站上抓取URL并将其存储在rethinkdb数据库中

时间:2024-05-31 17:38:33
【文件属性】:

文件名称:tor-link-scraper:从Tor网站上抓取URL并将其存储在rethinkdb数据库中

文件大小:5KB

文件格式:ZIP

更新时间:2024-05-31 17:38:33

JavaScript

友情链接刮板 从Tor网站上的起始URL抓取链接,访问这些链接,并抓取更多链接,等等。所有链接都存储在rethinkDB数据库中。 安装tor sudo apt-get install tor 检查tor是否正在运行 service tor status 安装全局依赖 npm install -g phantomjs npm install -g casperjs 安装rethinkdb 来自: : source /etc/lsb-release && echo "deb http://download.rethinkdb.com/apt $DISTRIB_CODENAME main" | sudo tee /etc/apt/sources.list.d/rethinkdb.list wget -qO- http://download.rethinkdb.com/apt/pubke


【文件预览】:
tor-link-scraper-master
----.gitignore(14B)
----helpers.js(2KB)
----args.js(749B)
----site-scrape.js(2KB)
----README.md(1KB)
----tor-scrape.js(2KB)

网友评论