1.什么是robots.txt文件?

搜查引擎经常使用spider程序智能访问互联网上的网页并失掉网页消息。spider在访问一个网站时，会首先会审核该网站的根域下能否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范畴。您可以在您的网站中创立一个robots.txt，在文件中申明该网站中不想被搜查引擎收录的局部或许指定搜查引擎只收录特定的局部。

请留意，仅当您的网站蕴含不宿愿被搜查引擎收录的内容时，才须要经常使用robots.txt文件。假设您宿愿搜查引擎收录网站上一切内容，请勿树立robots.txt文件。

2.robots.txt文件放在哪里?

robots.txt文件应该搁置在网站根目录下。举例来说，当spider访问一个网站（比如http://www.abc.com）时，首先会审核该网站中能否存在http://www.abc.com/robots.txt这个文件，假设Spider找到这个文件，它就会依据这个文件的内容，来确定它访问权限的范畴。

网站URL

相应的robots.txt的URL

http://www.w3.org/

http://www.w3.org/robots.txt

http://www.w3.org:80/

http://www.w3.org:80/robots.txt

http://www.w3.org:1234/

http://www.w3.org:1234/robots.txt

http://w3.org/

http://w3.org/robots.txt

3.我在robots.txt中设置了制止百度收录我网站的内容，为何还出如今百度搜查结果中？

假设其余网站链接了您robots.txt文件中设置的制止收录的网页，那么这些网页依然或许会出如今百度的搜查结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜查结果中展现的仅是其余网站对您关系网页的形容。

4.制止搜查引擎跟踪网页的链接，而只对网页建索引

假设您不想搜查引擎追踪此网页上的链接，且不传递链接的权重，请将此元标志置入网页的局部：

假设您不想百度追踪某一条特定链接，百度还支持更准确的管理，请将此标志间接写在某条链接上：

要准许其余搜查引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标志置入网页的局部：

5.制止搜查引擎在搜查结果中显示网页快照，而只对网页建索引

要防止一切搜查引擎显示您网站的快照，请将此元标志置入网页的局部：

要准许其余搜查引擎显示快照，但仅防止百度显示，请经常使用以下标志：

注：此标志只是制止百度显示该网页的快照，百度会继续为网页建索引，并在搜查结果中显示网页摘要。

6.我想制止百度图片搜查收录某些图片，该如何设置？

制止Baiduspider抓取网站上一切图片、制止或准许Baiduspider抓取网站上的某种特定格局的图片文件可以经过设置robots成功，请参考robots.txt文件用法举例中的例10、11、12。

7.robots.txt文件的格局

"robots.txt"文件蕴含一条或更多的记载，这些记载经过空行离开（以CR,CR/NL,orNL作为完结符），每一条记载的格局如下所示：

在该文件中可以经常使用#启动注解，详细经常使用方法和UNIX中的惯例一样。该文件中的记载理论以一行或多行User-agent开局，前面加上若干Disallow和Allow行,详细状况如下：

User-agent:

该项的值用于形容搜查引擎robot的名字。在"robots.txt"文件中，假设有多条User-agent记载说明有多个robot会遭到"robots.txt"的限度，对该文件来说，至少要有一条User-agent记载。假设该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记载只能有一条。假设在"robots.txt"文件中，参与"User-agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只遭到"User-agent:SomeBot"前面的Disallow和Allow行的限度。

该项的值用于形容不宿愿被访问的一组URL，这个值可以是一条完整的门路，也可以是门路的非绝后缀，以Disallow项的值扫尾的URL不会被robot访问。例如"Disallow:/help"制止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则准许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明准许robot访问该网站的一切url，在"/robots.txt"文件中，至少要有一条Disallow记载。假设"/robots.txt"不存在或许为空文件，则关于一切的搜查引擎robot，该网站都是开明的。

该项的值用于形容宿愿被访问的一组URL，与Disallow项相似，这个值可以是一条完整的门路，也可以是门路的前缀，以Allow项的值扫尾的URL是准许robot访问的。例如"Allow:/hibaidu"准许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的一切URL自动是Allow的，所以Allow理论与Disallow搭配经常使用，成功准许访问一局部网页同时制止访问其它一切URL的配置。

须要特意留意的是Disallow与Allow行的顺序是无心义的，robot会依据第一个婚配成功的Allow或Disallow行确定能否访问某个URL。

经常使用"*"and"$"：

Baiduspider支持经常使用通配符"*"和"$"来含糊婚配url。

"$"婚配行完结符。

"*"婚配0或多个恣意字符。

注：咱们会严厉遵守robots的关系协定，请留意辨别您不想被抓取或收录的目录的大小写，咱们会对robots中所写的文件和您不想被抓取和收录的目录做准确婚配，否则robots协定不可失效。

8.URL婚配举例

Allow或Disallow的值

婚配结果

/tmp/a.html

/Hello.html

/Hello,lolo

/Hello,lolo

/tmpa.html

9.robots.txt文件用法举例

例1.制止一切搜查引擎访问网站的任何局部

下载该robots.txt文件

User-agent:*

Disallow:/

例2.准许一切的robot访问

(或许也可以建一个空文件"/robots.txt")

User-agent:*

例3.仅制止Baiduspider访问您的网站

User-agent:Baiduspider

Disallow:/

例4.仅准许Baiduspider访问您的网站

User-agent:Baiduspider

User-agent:*

Disallow:/

例5.仅准许Baiduspider以及Googlebot访问

User-agent:Baiduspider

User-agent:Googlebot

User-agent:*

Disallow:/

例6.制止spider访问特定目录

在这个例子中，该网站有三个目录对搜查引擎的访问做了限度，即robot不会访问这三个目录。须要留意的是对每一个目录必定离开申明，而不能写成"Disallow:/cgi-bin//tmp/"。

User-agent:*

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

例7.准许访问特定目录中的局部url

User-agent:*

Allow:/cgi-bin/see

Allow:/tmp/hi

Allow:/~joe/look

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

例8.经常使用"*"限度访问url

制止访问/cgi-bin/目录下的一切以".htm"为后缀的URL(蕴含子目录)。

User-agent:*

Disallow:/cgi-bin/*.htm

例9.经常使用"$"限度访问url

仅准许访问以".htm"为后缀的URL。

User-agent:*

Allow:/*.htm$

Disallow:/

例10.制止访问网站中一切的灵活页面

User-agent:*

Disallow:/*?*

例11.制止Baiduspider抓取网站上一切图片

仅准许抓取网页，制止抓取任何图片。

User-agent:Baiduspider

Disallow:/*.jpg$

Disallow:/*.jpeg$

Disallow:/*.gif$

Disallow:/*.png$

Disallow:/*.bmp$

例12.仅准许Baiduspider抓取网页和.gif格局图片

准许抓取网页和gif格局图片，不准许抓取其余格局图片

User-agent:Baiduspider

Allow:/*.gif$

Disallow:/*.jpg$

Disallow:/*.jpeg$

Disallow:/*.png$

Disallow:/*.bmp$

例13.仅制止Baiduspider抓取.jpg格局图片

User-agent:Baiduspider

Disallow:/*.jpg$

10.robots.txt文件参考资料

robots.txt文件的更详细设置,请参看以下链接：

WebServerAdministrator'sGuidetotheRobotsExclusionProtocol

HTMLAuthor'sGuidetotheRobotsExclusionProtocol

Theoriginal1994protocoldescription,ascurrentlydeployed

TherevisedInternet-Draftspecification,whichisnotyetcompletedorimplemented

标签： Robots、

本文地址： https://yihaiquanyi.com/article/29592b4de7ea1a672f6b.html

上一篇：官方解读如何完善医疗卫生服务体系官方解读...
下一篇：百度搜索引擎推广步骤百度搜索引擎工作原理...