Web-Scraper:通过Python进行网页抓取

时间:2024-03-30 22:46:29
【文件属性】:

文件名称:Web-Scraper:通过Python进行网页抓取

文件大小:7.77MB

文件格式:ZIP

更新时间:2024-03-30 22:46:29

Python

网页抓取工具 通过Python和Selenium的Web抓取工具。 Python版本:3.8.7 Selenium版本:3.141.0 使用以下工具进行了测试: 描述 该网络抓取工具用于测试抓取功能。 目的是刮掉在测试URL中找到的所有产品。 模组 main.py 使用此模块运行/测试程序。 线程 线程( self,thread_id,func,args ):初始化线程。 声明线程ID(thread_id)以进行标识。 该自定义类还将函数(func)传递给and和arguments(args)。 run ():调用Thread()。start时,将使用争吵(arg)调用已启动的函数(func)。 scraper.py 抓取工具( url ):使用要抓取的url初始化抓取工具。 声明Scraper()时,将创建一个Selenium Chrome网络驱动程序,并抓取url的内容。 se


【文件预览】:
Web-Scraper-main
----.gitattributes(66B)
----threader.py(813B)
----main.py(1KB)
----chromedriver(15.75MB)
----scraper.py(3KB)
----README.md(2KB)
----.gitignore(28B)

网友评论