文件名称：crawlergo:用于网络漏洞扫描器的强大浏览器爬虫
文件大小：1.42MB
文件格式：ZIP
更新时间：2024-08-13 03:21:51
golang crawler chrome-devtools headless chromium
crawlergo A powerful browser crawler for web vulnerability scanners crawlergo是一个使用chrome headless模式进行URL入口收集的浏览器爬虫。 使用Golang语言开发，基于 进行一些定制化开发后操纵CDP协议，对整个页面关键点进行HOOK，灵活表单填充提交，完整的事件触发，尽可能的收集网站暴露出的入口。同时，依靠智能URL去重模块，在过滤掉了大多数伪静态URL之后，仍然确保不遗漏关键入口链接，大幅减少重复任务。 crawlergo 目前支持以下特性： 原生浏览器环境，协程池调度任务 表单智能填充、自动化提交 完整DOM事件收集，自动化触发 智能URL去重，去掉大部分的重复请求 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz 支持Host绑定，自动添
【文件预览】：
crawlergo-master
----LICENSE(34KB)
----Disclaimer.md(941B)
----examples()
--------zombie_clean.py(2KB)
--------host_binding.py(1KB)
--------subprocess_call.py(513B)
--------request_with_cookie.py(1KB)
----README.md(10KB)
----imgs()
--------chrome_path.png(15KB)
--------bypass.png(36KB)
--------demo.gif(1.15MB)
--------skp.png(220KB)