大胆的想法，大结果
提交您的详细建站或开发需求，与我们来一场轻松的远程会议
预约远程会议如何使用 Robots.txt 禁止搜索引擎抓取网站
robots.txt是一种可以控制搜索引擎机器人如何抓取您的网站的命令文本，是一个纯文本文件，放在网站的根目录中。
如果您的网站处于维护模式或暂存状态，你可以限制机器人抓取您的整个网站。
如果要查看站点的robots.txt文件，可以通过在站点 URL 后添加robots.txt来查看它，例如ww.1t2.cn/robots.txt。您可以通过虚拟主机控制面板的文件管理器或FTP 客户端对其进行编辑。
如果该文件不存在，您可以手动创建它。只需单击文件管理器右上角的新建文件按钮，将其命名为robots.txt，放置到网站根目录下。
开始向文件中添加命令。您应该了解的两个主要内容是：
User-agent – 指的是将被限制的机器人类型，例如Baiduspider，Googlebot或Bingbot。
不允许- 是您要限制机器人的地方。
例如禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
例如禁止Googlebot访问您的网站
User-agent: Googlebot
Allow: /
如果希望robots.txt文件禁止所有搜索引擎机器人怎么办?
可以通过在User-agent旁边放置一个星号 (*)来实现。如果您想阻止他们访问整个站点，只需在Disallow旁边添加一个斜杠 (/)。这是它的样子：
User-agent: *
Disallow: /
下一篇： 为什么要进行网站优化
