文件名称：CNVDSpider:使用js爬取CNVD漏洞库共享数据Crawl CNVD shared vulnerabilities with js
文件大小：8KB
文件格式：ZIP
更新时间：2024-06-16 13:17:46
JavaScript
CNVDSpider Crawl CNVD shared vulnerabilities with js 完整教程查看 写论文需要用到的数据，然而，该页面有反爬机制，无法抓取全部数据，因此，使用js绕过反爬，实现效果如下： 可以直接到GitHub查看，欢迎留言点赞打赏提issue点star 环境 windows 10 Chrome浏览器 Sublime Text 3代码编辑器 前期准备 注册该网页账号并登陆即可 需求分析 首先，我们需要该漏洞库的全部漏洞数据，但是，使用python书写爬虫会被反爬机制识别到，从而无法自动大量下载数据 这里，发现该网页有共享的 因此，我们考虑从这里做文章 然鹅，一个个点击下载也十分耗时，因此，考虑使用js脚本进行下载 这里有两个思路： 一是分别控制脚本挨个点击链接并翻页 二是直接请求每个链接获得数据 这里采用第二种思路，通过查看链接发现其均为https://
【文件预览】：
CNVDSpider-main
----spider.js(8KB)
----filter.py(344B)
----README.md(12KB)