文件名称:WebCrawler
文件大小:9KB
文件格式:ZIP
更新时间:2024-03-30 10:11:52
Python
由于某些原因,Mozilla决定隐藏WebDriver标志。 请注意已删除的评论。 因此,我们正在使用Chromium 角色扮演 sudo apt-get update sudo apt-get install python-pip chromium-browser chromium-chromedriver xvfb pip3 install -r requirements.txt python3 main.py 要考虑建立索引的网站
【文件预览】:
WebCrawler-master
----main.py(4KB)
----SearchEngine.iml(464B)
----crawler()
--------browser.py(4KB)
--------robots.py(5KB)
--------feed.py(725B)
--------__init__.py(0B)
--------sitemap.py(2KB)
----ReadMe.md(939B)
----.idea()
--------discord.xml(179B)
--------misc.xml(575B)
--------vcs.xml(180B)
--------modules.xml(264B)
--------.gitignore(47B)
----requirements.txt(205B)
----.gitignore(34B)