文件名称：redback:Ruby的蜘蛛
文件大小：5KB
文件格式：ZIP
更新时间：2024-06-08 20:00:15
Ruby
红背 Redback是Ruby蜘蛛（geddit？）。 将其传递给网站，它将开始多方面的爬网，在整个网站上匆匆忙忙地拉出它可以找到的所有唯一URL。 就像恐怖的现实蜘蛛一样，redback的目标是速度很快：特别是，它并行发送请求，因此一个慢速页面不会减慢您的爬网速度。 安装 $ gem install redback 用法 命令行 $ redback http://example.com/ …在这种情况下，它将打印在http://example.com/网站中找到的所有URL。 您可以将他的结果输出到这样的文件中： $ redback http://example.com > output.txt 或将它们提供给另一个命令行工具，如下所示： $ redback http://xkcd.com | grep xml 在Ruby中 它也可以用作库： require 'red
【文件预览】：
redback-master
----README.md(950B)
----bin()
--------redback(117B)
----Gemfile(96B)
----LICENSE(1KB)
----redback.gemspec(619B)
----Gemfile.lock(183B)
----config()
--------http_headers.yml(279B)
----lib()
--------redback.rb(4KB)