众所周知，twitter在前段时间，PR值由9降到了0，并且众多页面不被谷歌Robot抓取，众人哗然!虽然现在已经恢复。但是这是怎么回事呢?北京网站优化研究中心编辑独孤依风引用谷奥的内容为大家解密下twitter网站动荡真相!
首先，Twitter PR及众多页面不被抓取是由自身技术引起的，跟谷歌的搜索机制没有关系。
导致twitter此次动荡的有五大技术问题：
(1)robots设置问题
twitter在设置Robots时，针对带WWW和不带WWW设置了两个Robots标准。如下所示：(A为不带www的Robots设置，B为带WWW的Robots设置)
A：The file at twitter.com/robots.txt looks as follows:
#Google Search Engine Robot
User-agent: Googlebot
# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl
Allow: /*?*_escaped_fragment_
Disallow: /*?
Disallow: /*/with_friends#Yahoo! Search Engine Robot
User-Agent: Slurp
Crawl-delay: 1
Disallow: /*?
Disallow: /*/with_friends#Microsoft Search Engine Robot
User-Agent: msnbot
Disallow: /*?
Disallow: /*/with_friends# Every bot that might possibly read and respect this file.
User-agent: *
Disallow: /*?
Disallow: /*/with_friends
Disallow: /oauth
Disallow: /1/oauthtwitter.com / VanessaFox显示搜索结果，是twitter.com / vanessafox。这两个URL导致了同一个地方。这是造成又一次的PageRank稀释，重复，和规范化问题。这里最好的办法是正常化的网址一个变
化(最简单的方法是选择全部小写)，然后301重定向所有变化。另外，Twitter的可以简单地添加的rel =规范属性指定规范版本的所有网页 。
从以上可以看出，Twitter是有麻烦的robots.txt，HTTP状态代码和URL规范化。这是很多大型网站面临的问题。至于谷歌PR工具栏是否刷新，那是谷歌的问题。
从Twitter技术漏洞可以告诫各位站长：
(1)设置Robots一定要统一，集中权重，以防走失。(2)302重定向没有301重定向好(3)必须遵守谷歌AJAX抓取标准(4)不要在HTTP标头限制速率(5)网址要规范，统一，不能掺杂在一起随意乱用!
来文首发于独孤依风seo中心(www.seo0359.com) 站长独孤依风原创!如若转载，请保留原文链接地址!互联网精英第一群：76933546，诚邀广大知名站长加入!
评论