在百度站长平台检测自己的博客时，笔者对博客的Robots进行了检测，并搜索了关于WordPress博客Robots.txt设置问题的信息。通过阅读一些WordPress高手的建议，笔者终于有所领悟，并在此分享给一些WordPress新手，教他们如何优化Robots.txt来优化他们的博客。

首先是对Robots.txt的概念的普及。Robots.txt是一种存放于网站根目录下的ASCII编码的文本文件，它通常用于告诉搜索引擎的机器人（也称为蜘蛛）哪些内容不能被搜索引擎的机器人获取，哪些内容可以被获取。这个文件的作用是指定机器在您的网站上抓取哪些内容，一定程度保护了网站的安全和隐私。同时，Rob.txt也是网站优化的利器，可以用来屏蔽复内容页面的抓取。

然而，需要注意以下几点地方：

1. Robots.txt的指令区分大小写，未知指令会被忽略。

2. 每一行代表一个指令，空白和隔行会被忽略。
3. #号后的字符参数会被忽略。
4. 有独立User-agent的规则，会排除在通配*User-agent的规则之外。
5. 可以写入Sitemap文件的链接，方便搜索引擎的抓取。
6. 尽量少使用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会有不同看法。

接下来是WordPress的Robots.txt优化设置：

1. User-agent: *

这个指令适用于所有的机器人程序，用通配符*表示。如果有独立User-agent的指令规则，最好将其放在通配User-agent规则的上方。

2. Disallow: /wp-admin/
3. Disallow: /wp-content/
4. Disallow: /wp-includes/

这些指令用于屏蔽机器人抓取程序文件，并节约搜索引擎机器人的资源。

5. Disallow: /*/trackback

每个默认的文章页面代码里都有一段trackback的链接。如果不屏蔽，会导致网站出现重复页面内容问题。

6. Disallow: /feed
7. Disallow: /*/feed
8. Disallow: /comments/feed

头部代码里的feed链接主要是提示浏览器用户可以订阅本站。为了节约搜索引擎机器人的资源，可以屏蔽这些链接。

9. Disallow: /?s=*
10. Disallow: /*/?s=*

这些指令用于屏蔽机器人抓取站内搜索结果。即使站内没有这些链接，也不能保证站外没有。如果被收录了，会导致与TAG等页面的内容相近。

11. Disallow: /?r=*

这条指令用于屏蔽留言链接插件留下的变形留言链接。如果没有安装相关插件，可以忽略这条指令。

12. Disallow: /*.jpg$
13. Disallow: /*.jpeg$
14. Disallow: /*.gif$
15. Disallow: /*.png$
16. Disallow: /*.bmp$

这些指令用于屏蔽机器人抓取任何图片文件。不同的网站管理员可以根据需要设置这些指令，以节约带宽。

17. Disallow: /?p=*

这条指令用于屏蔽机器人抓取短链接。默认头部里的短链接，百度等搜索引擎机器人会试图抓取。虽然最终短链接会301重定向到固定链接，但这样仍然会浪费机器人的资源。

18. Disallow: /*/comment-page-*
19. Disallow: /*?replytocom*

这些指令用于屏蔽机器人抓取留言信息链接。一般来说，这样的链接不会被收录。但为了节约机器人的资源，也可以屏蔽。

标签： Robots、 WordPress、

本文地址： https://yihaiquanyi.com/article/ef688adc3524cd2ab07d.html

上一篇：SEO经验是什么SEO经验...
下一篇：做网络推广如何找客户做网络推广如何选择合...