文件名称：crawlertrap:禁止忽略robots.txt的爬网机器人
文件大小：9KB
文件格式：ZIP
更新时间：2024-06-11 14:12:48
HTML
履带陷阱 Crawler Trap是一个简单PHP脚本，可以防止垃圾网站爬虫将您的网站编入索引。 通常，您希望您的网站被尽可能多的搜索引擎索引。 但是，也有一些“不良”网站会抓取您的网站并对其进行扫描以查看电子邮件或任何安全漏洞。 这个怎么运作 搜寻器进入您的网站并开始搜寻过程。 它会打开一个网站并扫描该网站的内容以获取链接。 然后，它会链接到您的子页面。 现在的想法是将陷阱链接放入您的站点内。 该链接可由CSS隐藏，但对于搜寻器仍然可见。 现在，如果该僵尸程序打开陷阱链接，该僵尸程序的IP将被添加到您的.htaccess中，并且该僵尸程序现在无法打开您网站上的任何页面，直到您从.htaccess中删除了被禁止的IP。 安装 在您的网站上创建一个名为“ trap”（或您喜欢的名称）的子目录，然后将该存储库中的index.php放入其中。 应该可以从浏览器访问它，例如： : （或 ）
【文件预览】：
crawlertrap-master
----.htaccess(1B)
----trap()
--------index.php(222B)
----robots.txt(30B)
----LICENSE(18KB)
----README.md(2KB)
----website.html(436B)