robots书写说明:时间:2021-09-15 06:28:55 “User-Agent”搜索引擎的名字。 针对所有搜索引擎写法:User-Agent: *,针对百度搜索引擎写法:User-Agent:Baiduspider “Allow”允许抓取。例:允许抓取news目录,参考写法:Allow: /news “Disallow”禁止抓取。例:禁止抓取admin目录,参考写法:Disallow: /admin