什么是禁止收录机制

在做网站SEO的时候，会运用到禁止收录机制。那么，到底什么是禁止收录机制。我们来看看下文的讲解。

有的时候，我们并不希望某些方面被抓取和收录，如付费内容、还是在测试阶段的页面复制内容页面等。网站上不出现链接，或者使用JAVASCRIPT、FLASH链接，使用NOFOLLOW等方法都不能保证页面一定不被收录。我们自己虽然没有链接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。

要确保页面不被收录，需要使用ROBOTS文件或META ROBOTS标签。

搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为ROBOTS.TXT的纯文本文件，ROBOTS.TXT用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容。如百度的ROBOTS文件位于：“http://www.baidu.com/robots.txt

只有在需要禁止抓取某些内容时，写OBOTS.TXT才有意义。ROBOTS文件不存在或者是空文件都以为这允许搜索引擎抓取所有内容。有的服务器设置有问题，ROBOTS文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能使搜索引擎错误解读ROBOTS文件信息，所以建议就算允许抓取所有内容，也要建一个空的ROBOTS.TXT文件，放在根目录下。

META ROBOTS标签是页面HEAD部分META标签的一种，用于指令搜索引擎禁止索引本页内容。最简单的META ROBOTS 标签格式为“<meta name="robots" content="noindex,nofollow">”

上面标签的意义是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。使用了noindex meta robots 标签的页面会被抓取，但不会被索引，页面URL不会出现在搜索结果中，这一点与robots文件不同。