【文件属性】:
文件名称:reddit-scraper:用于从Reddit抓取和可视化搜索结果的工具
文件大小:83KB
文件格式:ZIP
更新时间:2021-04-28 04:01:13
JavaScript
刮刮刀
用于从抓取和可视化搜索结果的工具。
配置
安装Node.js
被用作可视化抓取数据的后端,并且需要才能使用它。 以下bash命令可用于在基于Debian的体系结构中安装 对于其他架构,请参考。
curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -
sudo apt-get install -y nodejs
设置Json-Server
在目录中,运行以下bash命令,而不修改现有文件:
npm install --save json-server
安装Beautiful Soup 4,请求和LXML
必须与一起安装。 同样,库是访问HTML内容所必需的。
pip3 install beautifulsoup4
pip3 install requests
pip3 install lxml
用法
该工
【文件预览】:
reddit-scraper-master
----jsonserver()
--------.gitignore(992B)
--------package-lock.json(60KB)
--------package.json(264B)
----reddit.html(469B)
----scraper.py(5KB)
----testdata.txt(257KB)
----README.md(3KB)
----reddit.js(6KB)
----.gitignore(1KB)
----reddit.css(561B)