当前位置:SEO首页 > SEO教程 >

SEO教程

robots.txt

robots.txt文件是搜索引擎爬虫协议,robots.txt文件的作用,是告诉搜索引擎哪些内容可以抓取,哪些内容不可以抓取,robots.txt文件,是一个文本文件,位于网站的根目录,比如https://seo.baixiucn.com/robots.txt,如果我们网站没有robots.txt文件,那么就代表着,网站所有的内容都会被搜索引擎抓取。

robots.txt文件的组成,是由一条条的记录组成,最简单的robots.txt记录,如下:

User-agent:*

Disallow:/

以上两条,意思是配置了所有的搜索引擎,禁止抓取网站的所有内容,包含首页,User-agent是配置搜索引擎爬虫,下边的规则适用于哪些搜索引擎,比如:

User-agent:Baiduspider

Disallow:/

这两条,指的是,禁止百度爬虫,抓取网站所有的内容,谷歌的是“User-agent:Googlebot”。

这里值得一说的是,抓取和索引(收录)不可以一概而论,它们不是一个概念,robots.txt文件的作用是禁止搜索引擎抓取,但是不代表搜索引擎不索引。