robots.txt
什么是robots.txt?
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
语法:最简单的 robots.txt 文件使用两条规则:
• User-Agent: 适用下列规则的漫游器
• Disallow: 要拦截的网页
robots.txt使用误区
误区一:我的网站上的所有文件都需要蜘蛛抓 取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。 每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。
误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站 的收录率。
网站中的程序脚本、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会浪费服务器资 源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
具体哪些文件需要排除, 在robots.txt使用技巧一文中有详细介绍。
误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件设置所有的搜索蜘蛛都 不能抓取全部的网页。
如果这样的话,会导致整个网站不能被搜索引擎收录。
robots.txt使用技巧
1. 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时, 服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如:大多数网站服务器都有程序储存在“cgi-bin”目录下,因此在 robots.txt文件中加入“Disallow: /cgi-bin”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚 本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
下面是VeryCMS里的robots.txt文件:
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件
3. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛 索引,以保证这些网页不会被视为含重复内容。
4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样:
Sitemap: http://www.***.com/sitemap.xml
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,显然不在这个圈子内。这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap 文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。
5. 合理使用robots.txt文件还能避免访问时出错。比如,不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录,所以你可以在 robots.txt文件里设置来阻止搜索者直接进入购物车页面。
robots.txt文件的格式
“robots.txt”文件包含一条或更多的记录,这些记录通过空行分开(以 CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
“<field>:<optionalspace><value><optionalspace>”。
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一 行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:
User-agent:
该项的值用于描述搜索引擎robot的名字。在”robots.txt”文件中,如果有多条 User-agent记录说明有多个robot会受到”robots.txt”的限制,对该文件来说,至少要有一条User-agent记录。如果该项的 值设为*,则对任何robot均有效,在”robots.txt”文件中,”User-agent:*”这样的记录只能有一条。如果 在”robots.txt”文件中,加入”User-agent:SomeBot”和若干Disallow、Allow行,那么名为”SomeBot”只 受到”User-agent:SomeBot”后面的Disallow和Allow行的限制。
Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空 前缀,以Disallow项的值开头的URL不会被robot访问。例如”Disallow:/help”禁止robot访问/help.html、 /helpabc.html、/help/index.html,而”Disallow:/help/”则允许robot访问/help.html、 /helpabc.html,不能访问/help/index.html。”Disallow:”说明允许robot访问该网站的所有url,在” /robots.txt”文件中,至少要有一条Disallow记录。如果”/robots.txt”不存在或者为空文件,则对于所有的搜索引擎 robot,该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的 路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如”Allow:/hibaidu”允许robot访问 /hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以 Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。
使用”*”和”$”:
Baiduspider支持使用通配符”*”和”$”来模糊匹配url。
“$” 匹配行结束符。
“*” 匹配0或多个任意字符。
robots.txt文件用法举例
例1. 禁止所有搜索引擎访问网站的任何部分
下载该robots.txt文件
|
User-agent: *
Disallow: /
|
例2. 允许所有的robot访问
(或者也可以建一个空文件 “/robots.txt”)
|
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
|
例3. 仅禁止Baiduspider访问您的网站 |
User-agent: Baiduspider
Disallow: /
|
例4. 仅允许Baiduspider访问您的网站 |
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
|
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。 需要注意的是对每一个目录必须分开声明,而不能写成 “Disallow: /cgi-bin/ /tmp/”。
|
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
|
例6. 允许访问特定目录中的部分url |
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
|
例7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
|
User-agent: *
Disallow: /cgi-bin/*.htm
|
例8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
|
User-agent: *
Allow: .htm$
Disallow: /
|
例9. 禁止访问网站中所有的动态页面 |
User-agent: *
Disallow: /*?*
|
例10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
|
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
|
例11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
|
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
|
例12. 仅禁止Baiduspider抓取.jpg格式图片 |
User-agent: Baiduspider
Disallow: .jpg$
|
Crawl-delay 指令
几大抓取工具支持Crawl-delay参数,设置为多少秒,以等待同服务器之间连续请求:
User-agent: *
Crawl-delay: 10
Allow 指令
一些大的Crawlers支持一项Allow指令,可以抵消先前Disallow指令。
Robots META标签
Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
<meta content=”noindex,nofollow” />
分享到:
相关推荐
robots.txt使用方法 反爬虫 SEO.zip
NULL 博文链接:https://zhibin07.iteye.com/blog/1291957
:robot: robots.txt即服务 :robot: :construction: 开发中的项目 通过API访问权限的分布式robots.txt解析器和规则检查器。 如果您正在使用分布式Web爬网程序,并且想要礼貌行事,那么您会发现此项目非常有用。 另外...
BetterRobots - 使用 robots.txt 更好的 SEO BetterRobots 旨在 SEO 增强您的 robots.txt 服务,特别是在您从一个应用程序提供多个域或子域的情况下。 例如 、assets.yoursite.com、beta.yoursite.com 等。 SEO 和...
机械手 Spring Boot应用程序模块,可基于标准控制器注释自动生成和文件。 它是如何工作的? 只需使用@EnableRoboto批注为您的主Spring应用程序类@EnableRoboto批注,如下所示: @SpringBootApplication ...
1.一个功能超强的查找与替换工具 2.KeywordS关健字排名查询.rar 3.百度指数分析工具.rar 4.老虎Sitemap生成器0.6.1.zip 5.反链检查软件.rar 6.百万搜索引擎登陆器 7.oBlog日志群发机 .rar 8.简单设置关键字就能生成...
wp-robots-txt.1.0 WP插件 robots, seo WP Robots Txt Allows you to edit the content of your robots.txt file.
pre-vue概述这是生成预渲染的静态站点的Vue + Nuxt配置的示例。 代替生成常规的单pa预先预览,而不是概述此示例是Vue + Nuxt...功能此项目模板内置以下功能:生成站点地图(用于SEO)生成robots.txt(用于SEO)支持唯一
为所有静态/预渲染/动态/服务器端页面生成sitemap和robots.txt。 目录 入门 入门 安装 yarn add next-sitemap -D 创建配置文件 next-sitemap在您的项目根目录下需要一个基本的配置文件( next-sitemap.js ) ...
页面布局和内页优化 下5.robots.txt的作用6.robots语法讲解7.站群优化 上8.站群优化 中9.站群优化 下10.中文分词算法11.隐含语义索引原理12.网站优化方案制作14.IIS日志的作用15.蛋糕原理16.网站权重分析1 资源太大...
robots.txt文件, 一个sitemap.xml文件,以及 HTML <meta>标签 您不再需要查找每个单独协议的格式,也不必使用大量的<meta>标签来污染HTML。 它还使您可以灵活地定义在运行时如何生成这些文件的行为...
title description keywords W3C认证标准 robots.txt文件 伪URL重写
UGC,Sponsored和Nofollow属性值* NEW *-Robots.txt如果是URL您访问的网站受到robots.txt中“允许”或“禁止”的影响,该扩展程序将为您显示扩展程序中的特定规则,从而使复制或访问实时robots.txt变得容易。...
2014年最新黑帽SEO目录:【】...页面布局和内页优化 下【】5.robots.txt的作用【】6.robots语法讲解【】7.站群优化 上【】8.站群优化 中【】9.站群优化 下【 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。
搜索引擎优化(SEO)从入门到精通 Robots.txt 404 页面 搜索引擎优化作弊 搜索引擎优化 (FAQ)
Etch.OrchardCore.SEO 模块,可为...Robots.txt 管理/robots.txt内容或使用阻止搜索引擎。正在安装该模块在上可用。 通过NuGet程序包管理器添加对Orchard Core Web项目的引用。 搜索“ Etch.OrchardCore.SEO”,确保选
1.SQL注入 25.SQL注入的理解.mp4 26.学员操作联合注入.mp4 26.联合注入.mp4 27注入类型.mp4 28.导出数据库别名拿shell.mp4 29.读文件.mp4 ...31.MYSQL布尔注入.mp4 ...98.Robots.txt的讲解.mp4 99.社工库的理解.mp4
6、建立网站地图与ROBOTS.txt文件 7、反向链接不等于关键词链接。网站要多做关键词反连接 8、一个网站最好一个关键词制定首页,多着容易让搜索引擎确定不了网站内容的主题 9、链接路径一定要是绝对路径并且是网站...
这是一款专门针对WordPress开发的智能SEO优化插件,与众多WordPress的SEO插件不一样的是,更加简单易用,帮助站长快速完成WordPress博客/网站的SEO基础优化。提供TITLES&METAS优化、图片Title&Alt优化、链接优化、...
Robots.txt 生成器 XML 站点地图生成器 反向链接检查器 Alexa排名检查器 字计数器 在线 Ping 网站工具 链路分析器 关键字密度检查器 谷歌恶意软件检查器 域年龄检查器 域名转IP URL重写工具 www 重定向检查器 URL...