【文件属性】：
文件名称：webcrawler:面向infosec的Web搜寻器
文件大小：10KB
文件格式：ZIP
更新时间：2021-05-08 03:58:31
Python
Web爬网程序安全工具
Web Crawler安全工具是基于python的工具，用于自动对网站进行爬网。 它是面向Web爬网程序的，旨在帮助您进行渗透测试。 该工具的主要任务是搜索并列出网站中的所有链接（页面和文件）。
该搜寻器已在v1.0中进行了完全重写，带来了许多改进：改进了数据可视化，下载文件的交互式选项，提高了搜寻速度，将找到的文件列表导出到一个单独的文件中（可用于一次搜寻站点，然后下载文件并使用FOCA进行分析），以通用日志格式（CLF）生成输出日志，管理基本身份验证等等！
许多旧功能已被重新实现，最有趣的功能是搜寻器搜索目录索引的功能。
特征
爬网http和https网站（甚至不使用公共端口的网站）。
它允许确定爬网的深度（-C选项）
在搜寻结束时生成摘要，其中包含有关搜寻结果的统计信息
实现了HEAD方法，用于在爬网之前分析文件类型。 此功能大大提高了履带的速度。
【文件预览】：
webcrawler-master
----crawler.py(35KB)
----README.md(3KB)