【文件属性】：
文件名称：irobot:robots.txt 文件检查
文件大小：16KB
文件格式：ZIP
更新时间：2021-06-18 16:36:43
Ruby
我是机器人
robots.txt文件检查器。
配置
一些常见配置选项的示例包括：
require 'simple_redis_cache'
Irobot . configure do | c |
c . timeout = 1 # second
c . cache_namespace
c . cache = SimpleRedisCache . new ( ttl : 1 . day )
c . logger = Logger . new ( File . join ( ROOT , 'log' , 'irobot.log' ) )
# Since we aren't actually crawling the site, we'll ignore crawl delays
c . respect_crawl_delay = false
end
用法
---
【文件预览】：
irobot-develop
----.rspec(31B)
----.ruby-gemset(7B)
----.travis.yml(114B)
----.ruby-version(6B)
----irobot.gemspec(614B)
----spec()
--------cache_helper.rb(354B)
--------irobot_spec.rb(994B)
--------fixtures_helper.rb(120B)
--------response_spec.rb(125B)
--------request_spec.rb(1KB)
--------cassettes()
--------spec_helper.rb(457B)
--------txt_parser_spec.rb(7KB)
--------vcr.rb(0B)
--------fixtures()
----README.md(1KB)
----lib()
--------irobot.rb(477B)
--------null_object.rb(299B)
--------irobot()
--------version.rb(38B)
----Gemfile(118B)
----Rakefile(145B)
----Gemfile.lock(790B)