文件名称：crawler_detect:Ruby gem通过用户代理检测机器人和爬虫
文件大小：2.51MB
文件格式：ZIP
更新时间：2024-05-20 13:18:02
ruby crawler spider bots bot-detection
爬虫检测 关于 CrawlerDetect是PHP类@ 的Ruby版本。 它有助于通过用户代理和其他HTTP标头检测漫游器/爬网程序/蜘蛛。 目前能够检测出1,000个漫游器/蜘蛛/抓取工具。 为什么选择CrawlerDetect？ 与其他流行的自动检测宝典相比： 爬虫检测 沃伊特·坎普夫 浏览器 机器人模式数量 > 1000 〜280 〜280 已检查的HTTP标头数 10 1个 1个 僵尸名单的更新数量（2018年上半年） 14 1个 7 为了保持最新状态，该gem不接受任何器数据更新-应将任何用于编辑器数据的PR提供给原始项目。 安装 将此行添加到您的应用程序的Gemfile中： gem 'crawler_detect' 基本用法 CrawlerDetect . is_crawler? ( "Bot user agent" ) => true 或者，如果您需
【文件预览】：
crawler_detect-master
----.gitignore(113B)
----.rspec(46B)
----bin()
--------update_raw_files(778B)
----.rubocop.yml(349B)
----CHANGELOG.md(614B)
----LICENSE.txt(1KB)
----.github()
--------workflows()
----crawler_detect.gemspec(2KB)
----spec()
--------crawler_detect_spec.rb(2KB)
--------crawler_detect()
--------support()
--------spec_helper.rb(807B)
--------rack_spec.rb(792B)
--------fixtures()
----README.md(3KB)
----lib()
--------crawler_detect()
--------rack()
--------crawler_detect.rb(1KB)
----Gemfile(141B)
----Rakefile(145B)
----Gemfile.lock(3KB)