在网站提升这一块外面，robots文件的设置是占据很关键的位置的。robots文件是什么？它是网站跟爬虫间的协定，也就是说你的网站那些内容想被爬取，哪些内容不想被爬取都是经过robots文件来通知蜘蛛的。当搜查蜘蛛去访问一个站点的时刻它会首先审核该站点根目录下能否存在robots.txt。有些站长不时说自己网站没有收录，有时刻或许就是由于robots文件没设置好。

什么是robots文件？

搜查引擎智能访问互联网上的网页并且失掉网页消息是经过一种叫做robot的程序，又称spider，也就是咱们经常说的蜘蛛。

而robots文件就是站长和蜘蛛之间达成的一个协定或申明，在这个文件中就申明了网站中不想被robot访问的局部，这样该网站的局部或所有内容就可以不被搜查引擎收录，或许搜查引擎只收录指定的内容。

留意：robots.txt协定并不是一个规范，只是一种商定俗成，所以并不能保障网站的隐衷。

robots.txt文件怎样写?

首先要意识User-agent、Disallow、Allow是什么意思：

User-agent示意定义哪个搜查引擎，如User-agent：Baiduspider，定义百度蜘蛛;

经过以上三个命令，可以组合多种写法，准许哪个搜查引擎访问或制止哪个页面，且对字母大小有限度，文件名必需为小写字母，一切的命令第一个字母需大写，其他的小写。且命令之后要有一个英文字符空格。

robots.txt写法详解

1、准许一切搜查引擎访问一切目录

2、制止一切一切引擎访问一切目录

3、制止爬虫访问网站中的某些目录

这种是制止爬虫访问/123扫尾的一切文件，像http://www.vipshan.com/1234/、http://www.vipshan.com/123/1.html、http://www.vipshan.com/12345/1.html等都不能被抓取

制止爬虫访问/123/目录上方的一切文件。

4、制止爬虫访问某一类文件:

Disallow:/*.css$制止访问一切css开头的文件

Disallow:/*.js$制止访问一切js开头的文件

Disallow:/*.php$制止访问一切php开头的文件

Disallow:/123/*.jpg$制止访问/123/目录下的jpg开头的文件

留意：*示意一切，$示意开头，上方的汉字不用写进robots去！！！

5、制止访问网站中的灵活页面:

Disallow:/123/*?*制止访问/123/目录下的灵活页面

留意：？示意灵活门路，*示意一切。

6、制止访问某些字母扫尾的目录

可以巧用这个技巧来暗藏咱们网站的一些目录，例如网站后盾。假定www.vipshan.com的后盾目录是/abcdef/可以这样写:

留意：这样可以就示意一切abc扫尾的目录都不能访问，所以要留意一下不要制止了须要被抓取的栏目。

7、制止访问和准许访问同时存在的状况

假定/123/这个栏目下有1.html、2.html、3.html这样三个文件，要准许访问1.html而其他的要制止，可以这样写:

用User-agent:来定义搜查引擎，*示意一切

谷歌爬虫名字:Googlebot（罗列两个，其他的称号自己搜下）

robots文件设置留意事项

robots文件的后缀必需是.txt；robots文件必需全小写字母命名；在写robots文件的时刻，Disallow、Allow、Sitemap等词首字母必需大写，前面的字母则要小写。

robots.txt应搁置于网站的根目录下。假构想独自定义搜查引擎的遨游器访问子目录时的行为，那么可以将自定的设置兼并到根目录下的robots.txt，或许经常使用robots元数据。

特意留意，在书写robots事，运行英文形态下的冒号，并且冒号前面必需有一个英文形态下的空格。

4、都须要抓取能否就不用设置？

有的站长或许感觉假设网站一切文件都须要蜘蛛抓取，那就没必要参与robots文件，由于假设这个文件不存在，那蜘蛛也将自动访问网站上一切没有被口令包全的页面。这里要留意一种状况，假设用户试图访问一个不存在的url，主机就会在日志中记载404失误。当蜘蛛来寻觅不存在的robots文件时，主机也将在日志中记载一条404失误，所以网站应该都要设置robots文件。

5、为了参与网站收录率robots文件中设置一切文件都能被抓取可以吗？

无法以。由于网站中的程序脚本、样式表等文件即使被蜘蛛收录，也不会参与网站的收录率，还只会糜费主机资源。因此必需在robots.txt文件里设置不要让搜查蜘蛛索引这些文件。

robots.txt有什么用？

在seo这一块外面，robots.txt可是占据着关键位置的。那它究竟有什么用呢？

由于搜查引擎在启动抓取的时刻会消耗主机带宽，假设网站页面过多的话就会造成网站的加载速度变慢，这样是会影响到爬虫的抓取以及用户的阅读体验。假设在robots文件外面设置制止抓取一些不那么关键的页面，就可以提高蜘蛛抓取的效率，也能节俭更多的带宽，提高访问速度。

每个网站必需无法能一切的页面都是很关键的，关键关键和非关键的页面。假设经过robots文件缩小蜘蛛对非关键页面的抓取，把匍匐重点放在关键页面上，可以协助关键页面失掉更多的权重，这样网站的友好度也会有所提高。比如还有像建站时会发生一些暂时页面，假设没有对这些页面启动设置的话，蜘蛛也会抓取这些页面，这样就会影响到对重点页面的抓取。

以上就是对于robots文件的引见，宿愿对您有所协助！

介绍阅读

SEO提升如何处置过期无价值的页面？

网站如何做301重定向？301跳转经常出现疑问有哪些？

网站URL这样设置才是收录和排名的关键

网站变革https排名降低很多的要素在这里！

网站TDK设置技巧，想要排名这三大标签不能漠视