为什么你想用cookie或会话ID限制搜索引擎访问

有无数种策略可以利用cookie或会话ID进行搜索引擎控制，下面列出部分主要策略，另外还有无数种做法可供选择。

在控制链接权限流程时显示多个导航路径

网站的访客通常会有多种浏览或访问内容的方式，你的网站可以提供多种访问内容的路径（按日期、话题、标签、关系、评级等），但这样做会损耗页面排名或链接权限，不如重点优化一个搜索引擎友好型导航结构，这一点是非常重要的，因为多种分类次序会被看作重复的内容。

你可以要求用户使用cookie访问页面的其他分类次序版本，阻止搜索引擎索引多个具有相同内容的页面，另外一种解决方案（但并不十分安全）是使用rel="canonical"链接元素，告诉搜索引擎这些可供选择的分类次序其实与原始页面具有相同的内容（我们将在6.10节“内容推送和搜索爬虫控制”部分介绍canonical）。

防止部分内容被搜索引擎索引

你可能想将页面的部分内容展示给搜索引擎，而将另外一些部分的内容仅展示给人类访客，这可能包括广告、登录才可访问的信息、链接或富媒体内容。同样，向未使用cookie的用户展示普通版本，而向使用cookie的访客展示深层的信息，这种做法是非常不错的，需要注意的是，这一操作通常与登录连用，所以只有注册的用户才能访问全部的内容（如Facebook和LinkedIn网站）。

允许访问需要登录的页面

就内容摘要而言，它们通常是网站的全部页面或部分内容，而你可能想限制搜索引擎访问网站的这些内容，使用cookie或会话很容易便可实现这一点，而且还能帮助网站获取一些可能会转化为“注册用户”状态的搜索流量。例如，如果你想限制一些内容，那么便可以创建一个带有小段摘要的页面，并提示访客在注册后继续阅读，然后允许用户在同一网址下继续阅读内容。我们将在6.10节“内容推送和搜索爬虫控制”部分对此进行讲解。

避免内容重复问题

cookie或会话最大的用途之一是禁止爬虫爬行多个使用同一内容的页面，而允许访客查看自己喜欢的那个页面。以Moz为例，执行登录的用户能够在博客的主页查看完整的博客目录，但搜索引擎和未登录的用户只能看到摘要，这便避免了内容被列在多个页面中（博客主页和具体的帖子页面），且同时为会员提供了一个更加丰富的用户体验。