文件名称：irobot:robots.txt 文件检查
文件大小：16KB
文件格式：ZIP
更新时间：2024-07-08 10:23:23
Ruby
我是机器人 robots.txt文件检查器。 配置 一些常见配置选项的示例包括： require 'simple_redis_cache' Irobot . configure do | c | c . timeout = 1 # second c . cache_namespace c . cache = SimpleRedisCache . new ( ttl : 1 . day ) c . logger = Logger . new ( File . join ( ROOT , 'log' , 'irobot.log' ) ) # Since we aren't actually crawling the site, we'll ignore crawl delays c . respect_crawl_delay = false end 用法 ---
【文件预览】：
irobot-develop
----.rspec(31B)
----.ruby-gemset(7B)
----.travis.yml(114B)
----.ruby-version(6B)
----irobot.gemspec(614B)
----spec()
--------cache_helper.rb(354B)
--------irobot_spec.rb(994B)
--------fixtures_helper.rb(120B)
--------response_spec.rb(125B)
--------request_spec.rb(1KB)
--------cassettes()
--------spec_helper.rb(457B)
--------txt_parser_spec.rb(7KB)
--------vcr.rb(0B)
--------fixtures()
----README.md(1KB)
----lib()
--------irobot.rb(477B)
--------null_object.rb(299B)
--------irobot()
--------version.rb(38B)
----Gemfile(118B)
----Rakefile(145B)
----Gemfile.lock(790B)