robots怎么写
11.06 14:30:00发布
倾情
robots.txt基本语法
1、robots.txt的几个关键语法：
a、User-agent: 应用下文规则的漫游器，比如Googlebot,Baiduspider等。
b、Disallow: 要拦截的网址,不允许机器人访问。
c、Allow: 允许访问的网址
d、”*” : 通配符—匹配0或多个任意字符。
e、”$” : 匹配行结束符。
f、”#” : 注释—说明性的文字,不写也可。
g、Googlebot: 谷歌搜索机器人(也叫搜索蜘蛛)。
h、Baiduspider: 百度搜索机器人(也叫搜索蜘蛛)。
i、目录、网址的写法:都以以正斜线 (/) 开头。
如
Disallow:/
Disallow:/images/
Disallow:/admin/
Disallow:/css/
2、列举一些robots.txt 具体用法：
1、允许所有的robot访问
User-agent: *
Disallow:
或者
Allow: /
或者建一个空文件”robots.txt”即可。
2、仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
3、仅允许某个机器人访问您的网站，如Baiduspider。
4、禁止访问特定目录
Disallow: /admin/
Disallow: /css/
要拦截对所有包含问号 (?) 的网址的访问(具体地说，这种网址以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串)，请使用以下内容：
User-agent: Googlebot
Disallow: /*?
要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容： User-agent: Googlebot
Disallow: /*.xls$
您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含
在内的网页的版本。在此情况下，您可以对您的 robots.txt 文件进行如下设置：
Allow: /*?$
Disallow: /*? 指令会阻止包含 ? 的所有网址(具体地说，它将拦截所有以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串的网址)。
Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址)。
编写robots.txt文件时，按照以下格式和语法规则来指定搜索引擎蜘蛛的行为：
1. User-agent：指定适用的搜索引擎蜘蛛或用户代理名称。
"*"：适用于所有搜索引擎蜘蛛。
"Googlebot"：适用于Google搜索引擎蜘蛛。
"Baiduspider"：适用于百度搜索引擎蜘蛛。
可以使用多个User-agent指令来针对不同的搜索引擎蜘蛛设置不同的规则。
2. Disallow：指示搜索引擎蜘蛛不应访问或抓取的路径或文件。
"/"：表示网站根目录。
"/path/to/page.html"：指定具体的文件或路径。
可以使用多个Disallow指令来设置多个禁止访问的路径或文件。
3. Allow：指示搜索引擎蜘蛛可以访问或抓取的路径或文件。与Disallow相对应。
与Disallow一样，可以使用多个Allow指令来设置允许访问的路径或文件。
4. Sitemap：指定网站地图（sitemap）的URL地址，以帮助搜索引擎蜘蛛发现网站的页面。
"Sitemap: https://www.example.com/sitemap.xml"：指定sitemap.xml文件的URL。
以下是一个示例robots.txt文件的编写：
在上述示例中，User-agent指令适用于所有搜索引擎蜘蛛（"*"），然后使用Disallow指令禁止访问私有路径和cgi-bin目录，使用Allow指令允许访问公共路径和images目录。最后，使用Sitemap指令指定sitemap.xml的URL地址。
注意，在编写robots.txt文件时，应注意以下事项：
文件名必须为"robots.txt"。
文件必须位于网站根目录下。
每个指令一行，指令与值之间使用冒号和空格分隔。
可以使用注释，以"#"开头。
搜索引擎蜘蛛对大小写敏感，因此要小心路径和文件名的大小写。
根据具体需求和网站结构，自定义编写适合您的robots.txt文件。
最多设置5个标签!
湘公网安备 43010402000980号
问答XML地图
文章xml地图
官方微信号
解答老师微信{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://www.randengseo.com/data/attach/logo/logo.png', '推荐 倾情 的问题《robots怎么写》','https://www.randengseo.com/ask-122.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
robots.txt基本语法
1、robots.txt的几个关键语法：
a、User-agent: 应用下文规则的漫游器，比如Googlebot,Baiduspider等。
b、Disallow: 要拦截的网址,不允许机器人访问。
c、Allow: 允许访问的网址
d、”*” : 通配符—匹配0或多个任意字符。
e、”$” : 匹配行结束符。
f、”#” : 注释—说明性的文字,不写也可。
g、Googlebot: 谷歌搜索机器人(也叫搜索蜘蛛)。
h、Baiduspider: 百度搜索机器人(也叫搜索蜘蛛)。
i、目录、网址的写法:都以以正斜线 (/) 开头。
如
Disallow:/
Disallow:/images/
Disallow:/admin/
Disallow:/css/
2、列举一些robots.txt 具体用法：
1、允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
2、仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
3、仅允许某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
4、禁止访问特定目录
User-agent: *
Disallow: /admin/
Disallow: /css/
Disallow:
要拦截对所有包含问号 (?) 的网址的访问(具体地说，这种网址以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串)，请使用以下内容：
User-agent: Googlebot
Disallow: /*?
要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容： User-agent: Googlebot
Disallow: /*.xls$
您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含
在内的网页的版本。在此情况下，您可以对您的 robots.txt 文件进行如下设置：
User-agent: *
Allow: /*?$
Disallow: /*?
Disallow: /*? 指令会阻止包含 ? 的所有网址(具体地说，它将拦截所有以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串的网址)。
Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址)。
编写robots.txt文件时，按照以下格式和语法规则来指定搜索引擎蜘蛛的行为：
1. User-agent：指定适用的搜索引擎蜘蛛或用户代理名称。
"*"：适用于所有搜索引擎蜘蛛。
"Googlebot"：适用于Google搜索引擎蜘蛛。
"Baiduspider"：适用于百度搜索引擎蜘蛛。
可以使用多个User-agent指令来针对不同的搜索引擎蜘蛛设置不同的规则。
2. Disallow：指示搜索引擎蜘蛛不应访问或抓取的路径或文件。
"/"：表示网站根目录。
"/path/to/page.html"：指定具体的文件或路径。
可以使用多个Disallow指令来设置多个禁止访问的路径或文件。
3. Allow：指示搜索引擎蜘蛛可以访问或抓取的路径或文件。与Disallow相对应。
与Disallow一样，可以使用多个Allow指令来设置允许访问的路径或文件。
4. Sitemap：指定网站地图（sitemap）的URL地址，以帮助搜索引擎蜘蛛发现网站的页面。
"Sitemap: https://www.example.com/sitemap.xml"：指定sitemap.xml文件的URL。
以下是一个示例robots.txt文件的编写：
在上述示例中，User-agent指令适用于所有搜索引擎蜘蛛（"*"），然后使用Disallow指令禁止访问私有路径和cgi-bin目录，使用Allow指令允许访问公共路径和images目录。最后，使用Sitemap指令指定sitemap.xml的URL地址。
注意，在编写robots.txt文件时，应注意以下事项：
文件名必须为"robots.txt"。
文件必须位于网站根目录下。
每个指令一行，指令与值之间使用冒号和空格分隔。
可以使用注释，以"#"开头。
搜索引擎蜘蛛对大小写敏感，因此要小心路径和文件名的大小写。
根据具体需求和网站结构，自定义编写适合您的robots.txt文件。
一周热门 更多>