"robots.txt"文件蕴含一条或更多的记载，这些记载经过空行离开（以CR,CR/NL,orNL作为完结符），每一条记载的格局如下所示：

在该文件中可以经常使用#启动注解，详细经常使用方法和UNIX中的惯例一样。该文件中的记载理论以一行或多行User-agent开局，前面加上若干DisAllow行,详细状况如下：

User-agent:

该项的值用于形容搜查引擎robot的名字，在"robots.txt"文件中，假设有多条User-agent记载说明有多个robot会遭到该协定的限度，对该文件来说，至少要有一条User-agent记载。假设该项的值设为*，则该协定对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记载只能有一条。

该项的值用于形容不宿愿被访问到的一个URL，这个URL可以是一条完整的门路，也可以是局部的，任何以Disallow扫尾的URL均不会被robot访问到。例如"Disallow:/help"对/help.html和/help/index.html都不准许搜查引擎访问，而"Disallow:/help/"则准许robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记载为空，说明该网站的一切局部都准许被访问，在"/robots.txt"文件中，至少要有一条Disallow记载。假设"/robots.txt"是一个空文件，则关于一切的搜查引擎robot，该网站都是开明的。

该项的值用于形容宿愿被访问的一组URL，与Disallow项相似，这个值可以是一条完整的门路，也可以是门路的前缀，以Allow项的值扫尾的URL是准许robot访问的。例如"Allow:/hibaidu"准许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的一切URL自动是Allow的，所以Allow理论与Disallow搭配经常使用，成功准许访问一局部网页同时制止访问其它一切URL的配置。

须要特意留意的是Disallow与Allow行的顺序是无心义的，robot会依据第一个婚配成功的Allow或Disallow行确定能否访问某个URL。

经常使用"*"和"$"：

robots支持经常使用通配符"*"和"$"来含糊婚配url：

"$"婚配行完结符。

"*"婚配0或多个恣意字符。

标签： Robots、

本文地址： https://yihaiquanyi.com/article/67d7f408568fcce8d8ac.html

上一篇：房产公众号的功能介绍怎么写本地房产公众号...
下一篇：微信公众平台小程序注册微信公众平台快速增...