文件名称：polipus:lip属
文件大小：1.5MB
文件格式：ZIP
更新时间：2024-06-09 10:09:01
Ruby
lip属 由Redis支持的用ruby编写的分布式Web爬虫，该项目已提交给RubyDay2013 特征 易于使用 分布式且可扩展 它使用智能/快速且节省空间的概率数据结构来确定是否应访问url 它不会耗尽您的Redis服务器 即使不是严格要求，也可以在MongoDB上很好地玩 轻松编写自己的页面存储策略 集中抓取变得容易 深受海葵的启发 支持的Ruby解释器 核磁共振1.9.x> = 1.9.1 核磁共振2.0.0 核磁共振2.1.2 JRuby 1.9模式 鲁比尼乌斯 生存代码示例 require "polipus" Polipus . crawler ( "rubygems" , "http://rubygems.org/" ) do | crawler | # In-place page processing crawler . on_page_download
【文件预览】：
polipus-master
----.rubocop_todo.yml(1KB)
----polipus.gemspec(2KB)
----LICENSE.txt(1KB)
----.document(55B)
----lib()
--------polipus()
--------polipus.rb(15KB)
----Gemfile(129B)
----spec()
--------cassettes()
--------polipus()
--------clear.rb(318B)
--------spec_helper.rb(1KB)
--------polipus_spec.rb(4KB)
----Rakefile(149B)
----examples()
--------survival.rb(281B)
--------error_handling.rb(631B)
--------incremental.rb(2KB)
--------basic.rb(2KB)
--------robots_txt_handling.rb(364B)
----.travis.yml(607B)
----AUTHORS.md(202B)
----README.md(2KB)
----.rubocop.yml(248B)
----.rspec(31B)
----.gitignore(843B)
----CHANGELOG.md(3KB)