spider:PHP 中的灵活蜘蛛

时间:2024-07-04 02:31:59
【文件属性】:

文件名称:spider:PHP 中的灵活蜘蛛

文件大小:24KB

文件格式:ZIP

更新时间:2024-07-04 02:31:59

PHP

蜘蛛 PHP 中的灵活蜘蛛。 概念 蜘蛛包含许多称为pipes处理器,您可以将任意数量的任务传递给蜘蛛,每个任务都通过这些pipes并得到处理。 安装 composer require ddliu/spider 要求 PHP5.3+ 卷曲(请求管道) 依赖关系 请参阅composer.json 。 用法 use ddliu\spider\ Spider ; use ddliu\spider\ Pipe \ NormalizeUrlPipe ; use ddliu\spider\ Pipe \ RequestPipe ; use ddliu\spider\ Pipe \ DomCrawlerPipe ; ( new Spider ()) -> pipe ( new NormalizeUrlPipe ()) -> pipe ( new RequestPipe ())


【文件预览】:
spider-master
----.gitignore(21B)
----README.md(3KB)
----tests()
--------IfPipeTest.php(1KB)
--------IfUrlRegexpPipeTest.php(881B)
--------FileCachePipeTest.php(1KB)
--------IfUrlPipeTest.php(849B)
--------baseTest.php(5KB)
--------IconvPipeTest.php(1KB)
--------bootstrap.php(84B)
----phpunit.xml(180B)
----examples()
--------find-github-user-repos.php(993B)
----composer.lock(13KB)
----LICENSE(1KB)
----composer.json(590B)
----src()
--------SpiderException.php(163B)
--------Spider.php(4KB)
--------Task.php(3KB)
--------Scheduler.php(164B)
--------Pipe()
----.travis.yml(43B)

网友评论