robots文件生成工具

robots文件生成工具有很多，下面介绍两个较为常用的robots文件生成工具__ChinaZ站长工具和爱站SEO工具包，具体介绍如下。

1.站长工具创建

首先在搜索引擎中搜索“站长工具”，然后进入到站长工具首页，在首页的导航栏中选择“robots.txt生成”。

入“robots文件生成”页面，在该页面中输入限制搜索引擎访问的网站目录和Sitemap，再选择所要控制的搜索引擎，最后单击“生成”按钮即可。

2.爱站SEO工具包创建

使用爱站 SEO 工具包生成 robots.txt 文件的操作方法十分简单。不过，首先需要下载爱站SEO工具包软件，注册个人账号并登录。为登录后的软件首页。

在首页导航栏中单击“实用小工具”，在“实用小工具”下方可以看到“Robots制作”选项，单击进入即可。

单击“Robots制作“选项后，便可以看到“robots制作”界面，在该界面中添加限制目录、Sitemap后选择所要控制的搜索引擎，最后单击“生成”按钮。

上面介绍的是robots.txt文件制作方法，如果网站运营人员由于操作不当封禁了robots文件，该如何解决呢？下面以258网站为例，介绍封禁了robots文件的解决方法

258.com是企业互联网+一站式服务平台，由厦门二五八网络科技集团股份有限公司倾力打造，致力于为中小微企业提供建站、推广、转化等全方位服务。该网站结合集团一站式企业服务产品和覆盖全国的本地化服务商，并开放接入优秀企业级应用，将中小微企业、本地服务商、企业级应用进行深度融合，打造全新的企业服务（B2B）领域的生态圈。

258网站在开发2.0版本时，技术人员选择了在线开发，为了避免搜索引擎抓取开发版本，于是要求技术人员设置了robots封禁处理。网站2.0版本开发周期为1个月，1个月后网站版本迭代，直接覆盖了1.0版本，包括robots封禁文件，2天后发现流量大幅下降，检查收录发现800万收录降至0条，关键词大量掉线

网站运营人员发现这种情况后，马上进行了处理。首先，网站运营人员将robots封禁修改为允许，然后到百度站长后台检测并更新了 robots 文件。但是在百度站长后台进行抓取检测时，页面显示的依旧是抓取失败，网站运营人员只好点击多次后才成功触发搜索引擎蜘蛛抓取网站。然后在百度站长后台申请抓取频次上调，并在链接提交处设置数据主动推送（实时）。此外，他们还更新网站地图，重新提交百度，每天提交一次。两天之后，网站数据开始慢慢回升，到第3天时基本回升到正常状态

上述案例中，由于工作人员操作不当封禁了robots文件，使网站的流量及收录都大幅下降，所以创建robots文件后一定要认真检查及检测。

meta robots标签

meta robots标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引本页内容，因而也就不会出现在搜索结果中。

最简单的meta robots标签格式为：

＜meta name＝＂robots＂ content＝＂noindex,nofollow＂ ＞

上述标签的意义是禁止所有搜索引擎搜索本页面，禁止跟踪本页面上的链接。

Google 支持的标签有 noined，告诉搜索引擎蜘蛛不要索引本页面；nofollow，告诉搜索引擎蜘蛛不要跟踪本页面上的链接；nosnipprt，告诉搜索引擎不要在搜索结果中显示摘要文字；noarchive，告诉搜索引擎不要显示快照；noodp，告诉搜索引擎不要使用开放目录中的标题和描述。目前，百度的官方说法是只支持nofollow和noarchive。

使用了meta robots标签的页面会被抓取（只要robots没有禁止），但不会被索引，页面URL不会出现在搜索结果中，这一点与robots不同。

绝对路径与相对路径

文件路径是指文件在电脑中的位置，在网页设计中通过路径可以表示链接、插入图像、Flash、Css文件的位置。文件路径有两种方式，分别是相对路径和绝对路径。

3. 绝对路径

绝对路径是指带有网址的路径，比如有一个域名（www.dreamdu.com）和一个网站空间。若硬盘文件上的路径为下面的文件：

d:\dreamdu\exe\1.htmld:\dreamdu\exe\first\2.htmld:\dreamdu\exe\first\3.htmld:\dreamdu\exe\first\second\4.html

那么根据以上给出的条件，该文件的绝对路径就可以表示为：

＜a href＝＂http://www.dreamdu.com/exe/1.html＂＞链接到1.html＜/a＞＜a href＝＂http://www.dreamdu.com/exe/first/2.html＂＞链接到2.html＜/a＞＜a href＝＂http://www.dreamdu.com/exe/first/3.html＂＞链接到3.html＜/a＞＜a href＝＂http://www.dreamdu.com/exe/first/second/4.html＂＞链接到4.html＜/a＞

4. 相对路径

相对路径是指由这个文件所在的路径引起的跟其他文件（或文件夹）的路径关系。使用相对路径可以带来非常多的便利。例如，在本地硬盘中有两个文件，分别是index.htm和01.htm，它们要互相做超链接。

如果index.htm文件想要链接到01.htm文件，正确的链接方式应该是这个样式。相反，如果01.htm要想链接到index.htm这个文件，可以在01.htm文件里面添加一句“../../other/index.htm”，这里的．./表示上一级。