robots.txt文件怎么设置?常见用法举例

  1、禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

  2、允许所有的robot访问

  User-agent: *

  Allow: /

  3、仅禁止Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow: /

  4、仅允许Baiduspider访问您的网站

  User-agent: Baiduspider

  Allow: /

  或者

  User-agent: *

  Disallow: /

  5、仅允许Baiduspider以及Googlebot访问

  User-agent: Baiduspider

  Allow: /

  User-agent: Googlebot

  Allow: /

  6、禁止spider访问特定目录

  User-agent: *

  Disallow: /admin/

  Disallow: /tmp/

  Disallow: /img/

  7、允许访问特定目录中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Disallow: /cgi-bin/

  Disallow: /tmp/

  8、使用"*"限制访问url

  禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录).

  User-agent: *

  Disallow: /cgi-bin/*.htm

  9、使用"$"限制访问url

  仅允许访问以".htm"为后缀的URL.

  User-agent: *

  Allow: /*.htm$

  Disallow: /

  10、禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  11、禁止Baiduspider抓取网站上所有图片，仅允许抓取网页,禁止抓取任何图片.

  User-agent: Baiduspider

  Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.gif$

  Disallow: /*.png$

  Disallow: /*.bmp$

  12、仅允许Baiduspider抓取网页和.gif格式图片，允许抓取网页和gif格式图片,不允许抓取其他格式图片

  User-agent: Baiduspider

  Allow: /*.gif$

  Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.png$

  Disallow: /*.bmp$

  13、仅禁止Baiduspider抓取.jpg格式图片

  User-agent: Baiduspider

  Disallow: /*.jpg$