以后地位:首页 > 建站常识 > 列表

robots.txt写法大全和robots.txt语法的感化

点击: 次时辰:2016/12/9关头词:百度优化 robots
robots.txt写法大全和robots.txt语法的感化1 若是许可统统搜刮引擎拜候网站的统统局部的话 咱们能够成立一个空缺的文本文档,定名为robots.txt放在网站的根目次下便可。robots.txt写法以下:User-agent: *Disall

robots.txt写法大全和robots.txt语法的感化

robots.txt写法大全和robots.txt语法的感化

1 若是许可统统搜刮引擎拜候网站的统统局部的话 咱们能够成立一个空缺的文本文档,定名为robots.txt放在网站的根目次下便可。

robots.txt写法以下:

User-agent: *

Disallow:

User-agent: *

Allow: /

2 若是咱们制止统统搜刮引擎拜候网站的统统局部的话

robots.txt写法以下:

User-agent: *

Disallow: /

3 若是咱们须要某一个搜刮引擎的抓取的话,比方百度,制止百度索引咱们的网站的话

robots.txt写法以下:

User-agent: Baiduspider

Disallow: /

4 若是咱们制止Google索引咱们的网站的话,实在跟示例3一样,便是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot

robots.txt写法以下:

User-agent: Googlebot

Disallow: /

5 若是咱们制止除Google外的统统搜刮引擎索引咱们的网站话

robots.txt写法以下:

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /

6 若是咱们制止除百度外的统统搜刮引擎索引咱们的网站的话

robots.txt写法以下:

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

7 若是咱们须要制止蜘蛛拜候某个目次,比方制止admin、css、images等目次被索引的话

robots.txt写法以下:

User-agent: *

Disallow: /css/

Disallow: /admin/

Disallow: /images/

8 若是咱们许可蜘蛛拜候咱们网站的某个目次中的某些特定网址的话

robots.txt写法以下:

User-agent: *

Allow: /css/my

Allow: /admin/html

Allow: /images/index

Disallow: /css/

Disallow: /admin/

Disallow: /images/

9 咱们看某些网站的robots.txt里的Disallow或Allow里会看良多的标记,比方问号星号甚么的,若是利用“*”,首要是限定拜候某个后缀的域名,制止拜候/html/目次下的统统以".htm"为后缀的URL(包罗子目次)。

robots.txt写法以下:

User-agent: *

Disallow: /html/*.htm

10 若是咱们利用“$”的话是仅许可拜候某目次下某个后缀的文件

robots.txt写法以下:

User-agent: *

Allow: .asp$

Disallow: /

11 若是咱们制止索引网站中统统的静态页面(这里限定的是有“?”的域名,比方index.asp?id=1)

robots.txt写法以下:

User-agent: *

Disallow: /*?*

有些时辰,咱们为了节流办事器资本,须要制止各种搜刮引擎来索引咱们网站上的图片,这里的方式除利用“Disallow: /images/”如许的间接屏障文件夹的体例以外,还能够采用间接屏障图片后缀名的体例。

12 若是咱们制止Google搜刮引擎抓取咱们网站上的统统图片(若是你的网站利用其余后缀的图片称号,在这里也能够间接增加)

robots.txt写法以下:

User-agent: Googlebot

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

13 若是咱们制止百度搜刮引擎抓取咱们网站上的统统图片的话

robots.txt写法以下:

User-agent: Baidus

pider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

14 除百度以外和Google以外,制止其余搜刮引擎抓取你网站的图片(注重,在这里为了让列位看的更大白,是以利用一个比拟笨的方式——对单个搜刮引擎零丁界说。)

robots.txt写法以下:

User-agent: Baiduspider

Allow: .jpeg$

Allow: .gif$

Allow: .png$

Allow: .bmp$

User-agent: Googlebot

Allow: .jpeg$

Allow: .gif$

Allow: .png$

Allow: .bmp$

User-agent: *

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

15 仅仅许可百度抓取网站上的“JPG”格局文件(其余搜刮引擎的方式也和这个一样,只是点窜一下搜刮引擎的蜘蛛称号便可)

robots.txt写法以下:

User-agent: Baiduspider

Allow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

16 仅仅制止百度抓取网站上的“JPG”格局文件

robots.txt写法以下:

User-agent: Baiduspider

Disallow: .jpg$

17 若是 ? 表现一个会话 ID,您可解除统统包罗该 ID 的网址,确保 Googlebot 不会抓取反复的网页。可是,以 ? 开首的网址能够是您要包罗的网页版本。在此环境下,沃恩可将与 Allow 指令共同利用。

robots.txt写法以下:

User-agent:*

Allow:/*?$

Disallow:/*?

Disallow:/ *?

一即将阻挡包罗 ? 的网址(具体而言,它将阻挡统统以您的域名开首、后接肆意字符串,尔后是问号 (?),尔后又是肆意字符串的网址)。Allow: /*?$ 一即将许可包罗任何故 ? 开首的网址(具体而言,它将许可包罗统统以您的域名开首、后接肆意字符串,尔后是问号 (?),问号以后不任何字符的网址)。

18 若是咱们想制止搜刮引擎对一些目次或某些URL拜候的话,能够截取局部的名字

robots.txt写法以下:

User-agent:*

Disallow: /plus/feedback.php?

以上内容供大师参考下便可。

预定建站
收费供给网站优化
支付关头词