文件名称:Scrapenium:使用Selenium的通用刮网
文件大小:6KB
文件格式:ZIP
更新时间:2024-03-01 18:48:32
Python
cra 只需输入xpath,即可使用Selenium来抓取Dynamic网站。 该库为您提供了轻松抓取动态网站的方法。 如何创建搜寻器 在主目录(Scrapenium)中打开CLI,然后键入./scrapenium createcrawler [NAME]。 这将在Crawlers Directorty中创建一个搜寻器。 -------每个搜寻器都包含一个名为scrapenium.py的文件。 在这里,您可以使用公开的函数编写爬网逻辑。 -------还有另一个名为path.py的文件,在这里,您将所有xpath都写为一个键值对,其中key是数据表中列的名称,而值是需要抓取的元素的xpaths值。 如何运行您的搜寻器 在主目录中打开CLI,然后输入./scrapenium start [NAME]。 请享用 !!!!!
【文件预览】:
Scrapenium-master
----.gitignore(39B)
----scrapenium(199B)
----.DS_Store(6KB)
----Crawlkit()
--------__init__.py(0B)
--------CrawlMaster()
----README.md(788B)