文件名称：spidey:爬行和抓取网站的宽松框架
文件大小：10KB
文件格式：ZIP
更新时间：2024-05-17 07:18:41
Ruby
蜘蛛侠 Spidey提供了一个用于爬网和抓取网站的基本框架。 它的目标是使样板抓取逻辑不会出现在您的代码中。 例子 这个例子蜘蛛抓取的易趣页面，如下链接分类页面，继续拍卖的详细信息页面，最后记录一些擦伤的项目细节的结果。 class EbayPetSuppliesSpider < Spidey :: AbstractSpider handle "http://pet-supplies.shop.ebay.com" , :process_home def process_home ( page , default_data = { } ) page . search ( "#AllCats a[role=menuitem]" ) . each do | a | handle resolve_url ( a . attr ( 'href' ) , page )
【文件预览】：
spidey-master
----.travis.yml(187B)
----Rakefile(124B)
----CONTRIBUTING.md(3KB)
----Gemfile(90B)
----spidey.gemspec(889B)
----examples()
--------ebay_pet_supplies_spider.rb(845B)
----spec()
--------spidey()
--------spec_helper.rb(221B)
----.gitignore(55B)
----CHANGELOG.md(227B)
----lib()
--------spidey()
--------spidey.rb(215B)
----README.md(4KB)
----LICENSE.txt(1KB)