少年老成的云晨守望同学(题外话：少年老成是好事哈。我20多岁时人家说我像40岁，我40多岁时好多人说我像30多，男人20到50岁可以做到基本一个样子)贴了个帖子：透过京东商城看国内一线B2C网站SEO通病。建议先看那个帖子再回来看本帖，不然不容易明白下面在说什么。
简单说，帖子指出一个严重而且现实的SEO问题：很多网站，尤其是B2C，产品条件过滤系统(如选择产品的品牌、价格、尺寸、性能、参数等)会产生大量无效URL，之所以称为无效只是从SEO角度看的，这些URL并不能产生SEO作用，反倒有负面作用，所以这些URL不收录为好，原因包括：
1.大量过滤条件页面内容重复或极为类似(大量复制内容将使网站整体质量下降)
2.大量过滤条件页面没有对应产品，页面无内容(如选择“100元以下42寸LED电视”之类的)
3.绝大部分过滤条件页面没有排名能力(排名能力比分类页面低得多)却浪费一定权重
4.这些过滤条件页面也不是产品页面收录的必要通道(产品页面应该有其它内链帮助爬行和收录)
5.爬行大量过滤条件页面极大浪费蜘蛛爬行时间，造成有用页面收录机会下降(过滤条件页面组合起来是巨量的)
那么怎样尽量使这些URL不被爬行和索引、收录呢?前几天的一篇帖子如何隐藏内容也可能成为SEO问题讨论的是类似问题，这种过滤页面就是想隐藏的内容种类之一。不过可惜，我目前想不出完美的解决方法。云晨守望提出两个方法，我觉得都无法完美解决。
一是将不想收录的URL保持为动态URL，甚至故意越动态越好，以阻止被爬行和收录。但是，搜索引擎现在都能爬行、收录动态URL，而且技术上越来越不是问题。虽然参数多到一定程度确实不利于收录，但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录，所以不能当作一个可靠的方法。而且这些URL接收内链，又没有什么排名能力，还是会浪费一定权重。
第二个方法，robots禁止收录。同样，URL接收了内链也就接收了权重，robots文件禁止爬行这些URL，所以接收的权重不能传递出去(搜索引擎不爬行就不知道有什么导出链接)，页面成为权重只进不出的黑洞。
连向这些URL的链接配合nofollow也不完美，和robots禁止类似，nofollow在Google的效果是这些URL没有接收权重，权重却也没有被分配到其它链接上，所以权重同样浪费了。百度据称支持nofollow，但权重怎么处理未知。
评论