【文件属性】：
文件名称：WebCrawler
文件大小：9KB
文件格式：ZIP
更新时间：2021-03-10 16:25:12
Python
由于某些原因，Mozilla决定隐藏WebDriver标志。 请注意已删除的评论。 因此，我们正在使用Chromium
角色扮演
sudo apt-get update
sudo apt-get install python-pip chromium-browser chromium-chromedriver xvfb
pip3 install -r requirements.txt
python3 main.py
要考虑建立索引的网站
【文件预览】：
WebCrawler-master
----main.py(4KB)
----SearchEngine.iml(464B)
----crawler()
--------browser.py(4KB)
--------robots.py(5KB)
--------feed.py(725B)
--------__init__.py(0B)
--------sitemap.py(2KB)
----ReadMe.md(939B)
----.idea()
--------discord.xml(179B)
--------misc.xml(575B)
--------vcs.xml(180B)
--------modules.xml(264B)
--------.gitignore(47B)
----requirements.txt(205B)
----.gitignore(34B)