客服德律风:4001-543-345

以后职位:秒秒彩 > 群集营销知识 >

robots文件的写法

作者:Seo168    泉源:未知    时间:2014-12-29 20:11
摘要:有时间我们不想网站上的一些页面被收录,那么怎样办呢?能够我们会想到用nofollow标签,但纵然我们在站内不让搜索引擎跟踪链接,也有能够在其他网站泛起导入链接,后让这个页
      有时间我们不想网站上的一些页面被收录,那么怎样办呢?能够我们会想到用nofollow标签,但纵然我们在站内不让搜索引擎跟踪链接,也有能够在其他网站泛起导入链接,后让这个页面被收录。以是有用的措施就是应用robots榨取收录。
      搜索引擎蜘蛛在会见网站前会先检查robots文件,看看能否允许对网站阻拦收录抓取。浅易在robots文件不存在或是空文件时都默许为允许一切搜索引擎抓取一切内容。
      User-agent:*,Disallow:/  体现榨取一切搜索引擎抓取任何内容。其中*代表一切搜索引擎。User-agent:Baiduspider代表适用于百度蜘蛛,User-agent:Googlespider显露适用于谷歌蜘蛛。榨取的目录或文件必须脱离写,每个一行如:
User-agent:*
Disallow:/abc/
Disallow:/def/
Disallow:/ab/c.html
下面的代码体现禁绝可一切搜索引擎蜘蛛抓取/abd/和/def/两个目录和/ab/目录下的index.html文件。
      User-agent:*
      Disallow:   相当于允许以是搜索引擎抓取任何内容。
      我们也能够或许把Allow和Disallow一起应用
      User-agent:*
      Disallow:/ab/
      Allow:/ab/cd/
      体现让蜘蛛不抓取/ab/目录下的除/cd/目录下的其他内容。
      应用robots文件将有用的使蜘蛛明确哪些内容是可以抓取的或哪些是弗成以的。