robots书写说明：

• “User-Agent”搜索引擎的名字。
• 针对所有搜索引擎写法：User-Agent: *，针对百度搜索引擎写法：User-Agent:Baiduspider
• “Allow”允许抓取。例：允许抓取news目录，参考写法：Allow: /news
• “Disallow”禁止抓取。例：禁止抓取admin目录，参考写法：Disallow: /admin