文件名称：RobotsDisallowed:最常见，最有趣的robots.txt禁止目录的精选列表
文件大小：20.13MB
文件格式：ZIP
更新时间：2024-06-01 06:53:55
Shell
禁止使用机器人 RobotsDisallowed项目是对robots.txt禁止访问的世界*网站目录的收获，尤其是Alexa 100K和Majestic 100K的那些目录。 禁止目录列表是在网络安全评估或漏洞悬赏期间补充内容发现的一种好方法，因为网站所有者基本上是在说： “不要去这里；那里有敏感的东西！ 换句话说，这是潜在的高价值目标的列表。 该项目 因此，我们要做的就是访问Alexa排名前100,000个网站，下载它们的robots.txt文件，提取所有Disallowed目录，然后对它们进行一堆清理（它们很乱），以使列表在网络评估期间尽可能有用。 历史和更新 该项目最初创建于2017年，使用了Alexa 100K。 该项目的最新更新于2019年3月，使用了《雄伟百万》（Majestic Million）前100K。 除了使用Majestic列表代替Alexa（Alexa转到