有几个常见网站的对不同访问者，包括搜索引擎，显示不同内容的原因。下面是最常见的几种。
多变量和A/B测试
测试登录页面转化需要对不同访问者显示不同内容。在这种情况下，最好使用JavaScript/Cookie/Session显示内容，给搜索引擎一个不会每次爬行时都裱花的页面规范化版本(虽然每次访问时内容变化不一定对你有害)。Google也提供一个称为Google Website Optimizer的软件实现这个功能。
需要注册的内容和第一次点击免费
如果强制用户注册(无论付费或免费)才能访问内容，最好对已登录用户和未登录用户保持同样的URL，给未登录用户和搜索引擎显示一个摘要(通常以到两端就够了)。如果你想显示完整内容给搜索引擎，可以使用一些内容传送规则，例如新访问者没有注册之前可以访问最初一到两页内容，过了这个宽限期后就要求注册。这使你的意图很诚实，也可以使用Cookie或Session限制用户访问，同时显示完整内容给搜索引擎。
在这种情况下，你也可以选择参与Google的第一次点击免费(First Click Free)计划。只要点击搜索结果的用户能够免费访问第一篇文章，网站就可以将付费或需要登录的内容显示给Google蜘蛛。很多著名网站发布商使用这项技术，包括热门网站Experts-Exchange.com。
更明确地说，要实施第一次点击免费，发布商必须续页Google蜘蛛(可能还有其他搜索引擎蜘蛛)访问他们想要被索引的所有内容，即使用户通常需要登录才能看到这些内容。访问网站的用户还是需要登录，但是搜索引擎蜘蛛不需要。这将导致在适当时候网站内容会在搜索结果中出现，然而，如果一个用户点击搜索结果来到你的网站，你必须允许他访问整篇文章(如果是包含对个页面的文章，需要允许访问文章的所有页面)。一旦用户点击访问网站上的另一篇文章，你可以要求他登录。
更多细节可以参考Google的第一次点击免费计划页面：http://googlewebmastercentral.blogspot/2008/10/first-click-free-for-web-search.html。
搜索引擎不能爬行的导航
评论