客服德律风:4001-543-345

以后职位:秒秒彩 > 群集营销知识 >

robots.txt是甚么意思,若何准确誊录?

作者:admin    泉源:未知    时间:2014-08-20 14:06
摘要:一、robots.txt的界说 robots.txt是搜索引擎中会见网站的时间要检查的个文件。Robots.txt文件告诉蜘蛛法式模范模范在服务器上甚么文件是可以被检查的。 二、robots.txt的作用 当一个搜索蜘蛛会见
一、robots.txt的界说
        robots.txt是搜索引擎中会见网站的时间要检查的个文件。Robots.txt文件告诉蜘蛛法式模范模范在服务器上甚么文件是可以被检查的。 
 
2、robots.txt的作用
        当一个搜索蜘蛛会见一个站点时,它会首先检查该站点根目录下能否存在robots.txt,假定存在,搜索机械人就会凭证该文件中的内容来一定会见的规模;假定该文件不存在,一切的搜索蜘蛛将能够会见网站上一切没有被口令掩护的页面。
        主要用于告诉搜索引擎不想被搜索引擎抓取的页面及文件。或许指出网站舆图的职位。
 
3、robots.txt的写法
robots.txt必须放置在一个站点的根目录下,而且文件名必须一切小写。
User-agent: * 这句的意思是对以下敕令有用的蜘蛛或许说是针对的哪个蜘蛛。*代表一切蜘蛛,可以替换为百度spider,谷歌bot等.
Disallow: /  这句的意思是榨取收录根目录下的一切文件。
Disallow: /help.html   这句的意思是榨取收录根目录下的help.html这个文件
Disallow: /help/   这句的意思是榨取收录根目录下的help这个文件夹内的一切文件。
Sitemap: http://www.xxx.com/sitemap.xml 
 
四、robots meta的写法
        Robots META标签则主要是针对一个个详细的页面。和其他的META标签(如应用的语言、页面的形貌、要害词等)一样,Robots META标签也是放在页面的中,专门用来告诉搜索引擎ROBOTS若何抓取该页的内容。
        Robots META标签中没有巨细写之分,name=”Robots”体现一切的搜索引擎,可以针对某个详细搜索引擎写为name=”BaiduSpider”。content部门有四个指令选项:index、noindex、follow、nofollow,指令间以“,”脱离。
        INDEX 指令告诉搜索机械人抓取该页面; 
        FOLLOW 指令体现搜索机械人可以沿着该页面上的链接一连抓取下去; 
        要榨取一切搜索引擎显示您网站的快照,须要将此元标志置入网页的 <HEAD> 部门:   
<meta name=“robots” content=“noarchive”>   
        要允许其他搜索引擎显示快照,但仅防止搜索引擎显示,应用以下标志:
<meta name="Baiduspider“ content="noarchive">