文件名称：robots.txt：robots.txt即服务。 抓取robots.txt文件，下载并解析它们以通过API检查规则
文件大小：2MB
文件格式：ZIP
更新时间：2024-02-24 21:05:41
kotlin java api docker redis
:robot: robots.txt即服务 :robot: :construction: 开发中的项目 通过API访问权限的分布式robots.txt解析器和规则检查器。 如果您正在使用分布式Web爬网程序，并且想要礼貌行事，那么您会发现此项目非常有用。 另外，该项目可用于集成到任何SEO工具中，以检查机器人是否正确索引了内容。 对于第一个版本，我们正在尝试遵守Google用于分析网站的规范。 你可以看到它。 期待其他机器人规格的支持！ 为什么要这个项目？ 如果您要构建分布式Web搜寻器，则要知道从网站管理robots.txt规则是一项艰巨的任务，并且以可扩展的方式进行维护可能会很复杂。 您需要关注您的业务需求。 robots.txt可