【文件属性】：
文件名称：CNVDSpider:使用js爬取CNVD漏洞库共享数据Crawl CNVD shared vulnerabilities with js
文件大小：8KB
文件格式：ZIP
更新时间：2021-05-27 19:31:06
JavaScript
CNVDSpider
Crawl CNVD shared vulnerabilities with js
完整教程查看
写论文需要用到的数据，然而，该页面有反爬机制，无法抓取全部数据，因此，使用js绕过反爬，实现效果如下：
可以直接到GitHub查看，欢迎留言点赞打赏提issue点star
环境
windows 10
Chrome浏览器
Sublime Text 3代码编辑器
前期准备
注册该网页账号并登陆即可
需求分析
首先，我们需要该漏洞库的全部漏洞数据，但是，使用python书写爬虫会被反爬机制识别到，从而无法自动大量下载数据
这里，发现该网页有共享的
因此，我们考虑从这里做文章
然鹅，一个个点击下载也十分耗时，因此，考虑使用js脚本进行下载
这里有两个思路：
一是分别控制脚本挨个点击链接并翻页
二是直接请求每个链接获得数据
这里采用第二种思路，通过查看链接发现其均为https://
【文件预览】：
CNVDSpider-main
----spider.js(8KB)
----filter.py(344B)
----README.md(12KB)