RobotsMeta标签是一个可以用来控制搜索引擎行为的标签。在该标签中，name属性用来指定搜索引擎的名称，可以是"Robots"表示所有搜索引擎，也可以是具体的搜索引擎名称，如"name=BaiduSpider"表示百度爬虫。content部分有四个指令选项，包括index、noindex、follow和nofollow，这些指令之间可以用逗号分隔。

INDEX指令告诉搜索机器人可以抓取该页面，即将该页面包含在搜索引擎的索引中。

FOLLOW指令表示搜索机器人可以沿着该页面上的链接继续抓取下去，即从该页面出发，跟踪并抓取其他相关页面。

RobotsMeta标签的默认值是INDEX和FOLLOW（除了inktomi搜索引擎，其默认值是INDEX,NOFOLLOW），这意味着搜索引擎会抓取并索引该页面，并且可以从该页面跟踪其他链接。

总共有四种组合，分别是：

可以简写成 ；

可以简写成

绝大多数的搜索引擎机器人遵守robots.txt文件的规则，对于RobotsMeta标签的支持较少，但是逐渐增加。例如，著名的搜索引擎GOOGLE完全支持RobotsMeta标签，并增加了一个额外的指令archive，用于控制是否保留网页快照。一个示例是：

表示抓取该站点中的页面并沿着页面中的链接进行抓取，但不在GOOGLE上保留该页面的网页快照。

标签： Robots、

本文地址： https://yihaiquanyi.com/article/915f2492c7f4f43b1a70.html

上一篇：地图标注干嘛的地图标注你了解多少零老本守...
下一篇：搜索引擎优化是什么意思搜索引擎优化步骤...