今日，萝卜鱼在百度site笔者的萝卜居家园网的时候，发现百度收录本站的内容中至少50%的内容为评论内容，且收录重复，很有可能是由于robots.txt设置不当的缘故。萝卜鱼特地查找了一些资料，和大家一起分享一下wordpress的robots.txt的设置的相关技巧。
robots.txt是搜索引擎的蜘蛛在来到网站首先要查看的一个文件，由于网站有些内容是不想被搜索引擎抓取的，比如网站的模板文件，css文件，JS文件，管理界面等等，这时候就要设置一些robots.txt文件来使蜘蛛遵循这一些协议。
Wordpress中的robots.txt文件的存放位置在网站的根目录下,如果你自己没有设置，WP会生成一个动态的robots.txt文件。查看一个网站的robots.txt文件方法也很简单，只要在地址栏输入以下路径就可以了：你的域/robots.txt 需要注意的是，文件名要全部小写哦。例如，最开始萝卜居家园网的rotobs.txt是动态生成的，其对搜索引擎并不友好：
下面，萝卜鱼为大家解释一下robots.txt的写作方法及注意事项：
1、robots.txt必须上传到你的网站根名录下，在子目录下无效;
2、robots.txt，Disallow等必须注意大小写，不能变化;
3、User-agent，Disallow等后面的冒号必须是英文状态下的，冒号后面可以空一格，也可以不空格。网上有人说冒号后面必须有空格，其实没有也是可以的，请看谷歌中文网站管理员博客的设置就是这样：http://www.googlechinawebmaster.com/robots.txt ;
评论