我们专注互联网高端深度定制

2023我们与您携手共赢,改变企业互联网的影响力!

1、如果允许所有搜索引擎访问网站的所有部分

robots.txt写法如下:

User-agent: *

Disallow:

或者

User-agent: *

Allow: /


2、如果我们禁止所有搜索引擎访问网站的所有部分

robots.txt写法如下:

User-agent: *

Disallow: /


3、如果我们需要禁止某一个搜索引擎的抓取的话,比如百度,禁止百度索引我们的网站

robots.txt写法如下:

User-agent: Baiduspider

Disallow: /


4、如果我们禁止Google索引我们的网站的话,其实跟示例3一样,就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot即可

robots.txt写法如下:

User-agent: Googlebot

Disallow: /


5、如果我们只允许百度搜索引擎索引我们的网站,其他搜索引擎都不许索引

robots.txt写法如下:

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /


6、如果我们禁止除Google外的一切搜索引擎索引我们的网站的话,写法同上

robots.txt写法如下:

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /


7、如果我们需要禁止蜘蛛访问某个目录,比如禁止css、images等目录被索引

robots.txt写法如下:

User-agent: *

Disallow: /css/

Disallow: /images/


8、如果我们禁止蜘蛛访问我们网站的某个目录,但允许索引这个目录下的某个子目录

robots.txt写法如下:

User-agent: *

Disallow: /css/

Disallow: /images/

Allow: /css/aaa

Allow: /images/bbb

这样写就禁止蜘蛛抓取css目录,但是允许抓取css目录里面的aaa目录


有些robots.txt里的Disallow或者Allow会有很多的符号,比如问号星号什么的,这些具体有什么作用呢?我们接着往下看...


9、如果使用星号“*”,主要作用是限制访问某个后缀的域名,比如禁止访问/html/目录下的所有以".html"为后缀的URL(包含子目录)

robots.txt写法如下:

User-agent: *

Disallow: /html/*.html


10、如果我们使用“$”,这个符号表示只允许访问某目录下某个后缀的文件

robots.txt写法如下:

User-agent: *

Allow: /*.asp$

Allow: /*.html$

Disallow: /

这样写就禁止了搜索引擎索引整个网站,但是允许索引收录网站里面所有以.asp和.html结尾的文件


11、如果我们禁止搜索引擎索引网站中所有的动态页面(这里限制的是带有“?”的url,例如index.asp?id=1或者index.php?id=1)

(注意:这个问号必须是英文状态下的问号,很多新手站长写成了中文状态下的问号是没有效果的)

robots.txt写法如下:

User-agent: *

Disallow: /*?*


PS:有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式,往下看。


12、如果我们禁止Google搜索引擎抓取我们网站上的所有图片(如果你的网站有使用其他后缀的图片名称,在这里也可以直接添加)

robots.txt写法如下:

User-agent: Googlebot

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$


13、同样规则,如果我们想要禁止百度搜索引擎抓取我们网站上的所有图片

robots.txt写法如下:

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$


14、如果想要除了百度和Google之外,禁止其他搜索引擎抓取你网站的图片的话,这样写

(注意:在这里为了让各位新手站长看的更明白,因此使用一个比较笨的办法——对于单个搜索引擎单独定义。)

robots.txt写法如下:

User-agent: Baiduspider

Allow: /*.jpeg$

Allow: /*.gif$

Allow: /*.png$

Allow: /*.bmp$

User-agent: Googlebot

Allow: /*.jpeg$

Allow: /*.gif$

Allow: /*.png$

Allow: /*.bmp$

User-agent: *

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$


15、仅仅允许百度抓取网站上的“jpg”格式文件(其他搜索引擎的办法也和这个一样,只是修改一下搜索引擎的蜘蛛名称即可)

robots.txt写法如下:

User-agent: Baiduspider

Allow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$


16、仅仅禁止百度抓取网站上的“jpg”格式文件

robots.txt写法如下:

User-agent: Baiduspider

Disallow: /*.jpg$


17、如果问号“?”表示一个会话ID,我们可排除所有包含该ID的网址,确保搜索引擎不会抓取重复的网页。但是,以问号“?”结尾的网址可能是您要包含的网页版本。在此情况下,我们可以与Allow指令配合使用

robots.txt写法如下:

User-agent:*

Allow: /*?$

Disallow: /*?

写法解析:

Disallow: /*? 将会禁止抓取任何包含“?”的网址(具体而言,它将拦截所有以您的域名开头、之后接任意字符串、再然后是问号“?”、而后又是任意字符串的网址)。

Allow: /*?$ 将允许包含任何以“?”结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号“?”,问号之后没有任何字符的网址)。

 

18、如果我们想禁止搜索引擎对一些目录或者某些URL访问的话,可以截取部分的名字

robots.txt写法如下:

User-agent:*

Disallow: /abc/index.php? 

这样就禁止收录索引abc目录下所有包含index.php的网址

免责声明

本文章部分图片素材及文字内容等均来源于网络,仅供学习参考,如有侵犯您的版权,请联系我们,本站核实后将尽快删除或改正。

我们凭借多年的高端网站定制建设经验,坚持以“帮助中小企业改变互联网的影响力”为宗旨,累计为4000多家客户提供高品质建站服务,得到了客户的一致好评。若您有网站建设、网站改版、网站维保、域名注册、主机空间、网站ICP备案、手机网站建设、微信网站/小程序开发制作等方面的需求,请立即点击在线咨询,我们详细为您解答问题,提供最佳解决方案。项目经理在线咨询

17年不忘初心,专注网站建设

2023我们与您携手共赢,为您的企业改变互联网的影响力!

在线客服
联系方式

在线客服QQ

2256959986

联系邮箱

niaorenit@163.com

工作时间

周一至周六 9:00-17:00

官方微信公众号
线