如何写robots.txt？

【文件属性】：

文件名称：如何写robots.txt？

文件大小：3KB

文件格式：TXT

更新时间：2015-11-27 17:40:14

robots.txt robots

在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作