野生蜘蛛「Wild Spider」-crx插件

时间:2024-04-07 23:04:33
【文件属性】:

文件名称:野生蜘蛛「Wild Spider」-crx插件

文件大小:121KB

文件格式:CRX

更新时间:2024-04-07 23:04:33

搜索工具

通过并行使用多个选项卡将网页加载到浏览器中来对网页进行爬网 注意:你使用更多的标签,会使用更多的计算机资源(CPU,内存),并且每个页面都花费一些磁盘来保存内容(在IndexedDb中,可以通过扩展 - >检查视图:背景页面访问)。 “蜘蛛”就是这样工作的: 1)当前的URL被用作起点,并且在一个新的选项卡中再次加载。 2)加载此页面后,获取页面上的所有链接。 3)获取页面上的所有链接,包括相关的网址。 4)在所有使用的选项卡中并行打开提取的链接(默认为3,在eventPage中设置)。 5)重复2-4 所有源代码:https://github.com/nobodxbodon/ChromeCrawlerWildSpider 支持语言:English (United States)


网友评论