robots.txt 的使用和优化

一、robots.txt是什么：

robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛)，此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被(漫游器)获取的。这个文件用于指定spider在您网站上的抓取范围，一定程度上保护站点的安全和隐私。同时也是网站优化利器，例如屏蔽捉取站点的重复内容页面。

robots.txt目前并不是一种标准，只是一种协议!所以现在很多搜索引擎对robots.txt里的指令参数都有不同的看待。

二、使用robots.txt需要注意的地方：

1、指令区分大小写，忽略未知指令，下图是本博客的robots.txt文件在Google管理员工具里的测试结果;

2、每一行代表一个指令，空白和隔行会被忽略;

3、“#”号后的字符参数会被忽略;

4、有独立User-agent的规则，会排除在通配“*”User agent的规则之外;

5、可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。

6、尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会有不同看待。

三、robots.txt优化设置

1、User-agent： *

一般博客的robots.txt指令设置都是面对所有spider程序，用通配符“”即可。如果有独立User-agent的指令规则，尽量放在通配“”User agent规则的上方。

2、Disallow： /admin/

禁止搜索引擎蜘蛛访问该目录。还可以使用通配符 * 来禁止收录例如图片、CSS等文件。

3、Sitemap:http://*.com/sitemap.txt

添加Sitemap地图

合理地使用robots.txt，可以方便搜索引擎更好的收录，所以不可忽视。