文件名称：php-spider：可配置和可扩展PHP网络蜘蛛
文件大小：172KB
文件格式：ZIP
更新时间：2024-03-12 19:37:27
PHP
向后兼容性中断的注意事项：从v0.5.0开始，不再支持Symfony EventDispatcher v3，PHP Spider需要v4或v5。 如果您坚持使用v3，则仍然可以使用PHP Spiderv0.4.x。 这样做的原因是因为EventDispatcher v5中的BC中断，我们需要支持它来跟上现代框架的发展。 PHP-Spider功能 支持两种遍历算法：广度优先和深度优先 支持爬网深度限制，队列大小限制和最大下载限制 支持基于XPath，CSS选择器或普通的旧PHP添加自定义URI发现逻辑 带有一组有用的URI过滤器，例如域限制 支持预取（URI）和后取（资源内容）的自定义URI过滤器 支持自定义请求处理逻辑 带有一组有用的持久性处理程序（内存，文件） 支持自定义持久性处理程序 收集有关爬网的统计信息以进行报告 调度有用的事件，使开发人员可以添加更多自定义行为 支持礼貌政策 该