文件名称:phantom-crawler:一个查找断开链接的爬虫,js-errors
文件大小:12KB
文件格式:ZIP
更新时间:2024-07-05 10:25:08
JavaScript
幻影爬行者 Phantom 2.0 / 基于 SlimerJS 的蜘蛛。 由 phantom.sh / slimer.sh 运行。 抓取并查找损坏的链接和 js 错误。 报告。 调用phantom.sh / slimer.hs 。 slimerjs/phantomjs 都有很多问题。 不过这东西管用。 但是它们非常有问题,可能会死在页面上,处理重定向的问题,回调中吞没 js 错误,使事情难以调试,幻像有 SNI OpenSSL(cloudflare 站点)问题等等等等。 因此,如果工具不断发展,请谨慎使用,并在未来修复/改进。
【文件预览】:
phantom-crawler-master
----crawler.js(8KB)
----slimer.sh(95B)
----run.js(2KB)
----lib()
--------helpers.js(2KB)
--------assert.js(124B)
--------log.js(303B)
----test()
--------single-page()
--------multi-page()
--------multi-page-2-html()
----README.md(534B)
----.gitignore(10B)
----phantom.sh(120B)
----out()
--------.gitkeep(0B)