爬虫是目前最常见的网络程序，曾经有过统计，说是目前的网络流量有一半以上是爬虫使用的。
虽然爬虫程序随处可见，但是并不代。的法合理合是就法做表这种做法就是合理合法的。
在抓取网页时，我们要让自己的爬虫遵守Robot.txt协议。
一般网站有两种方式声明不想被爬虫爬取按：第一种是在站点的根目录下增加一个纯文本文件，例如
http://www.aaa.com/robots.txt。
第二种是直接在页面中使用robots的meta标签。
接下来，详细介绍一下robots的meta标签。
标签有四类：index、noindex、follow、nofollow。
使用时以逗号分隔。
index指令：表示Robot可以索引本页;
follow指令：表示Robot可以跟踪本页链接;
noindex指令：表示拒绝Robot索引本页，但可跟踪该页上的链接;
nofollow指令：表示拒绝Robot跟踪本页链接，但可索引本页
根据以上的命令，我们就有了一下的四种组合：
META NAME="ROBOTS" CONTENT="INDEX,FOLLOW" ：可以抓取本页，而且可以顺着本页继续索引别的链接
META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW" ：不许抓取本页，但是可以顺着本页抓取索引别的链接
META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW" ：可以抓取本页，但是不许顺着本页抓取索引别的链接
META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW" ：不许抓取本页，也不许顺着本页抓取索引别的链接。
这里需要注意的是，不要把两个对立的反义词写到一起，例如
META NAME="ROBOTS" CONTENT="INDEX,NOINDEX"
还有一点，禁止搜索引擎建立快照。
meta name="robots" content="noarchive"
以上的一段代码限制了所有的搜索引擎建立你的网页快照。
如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写
meta name="Googlebot" content="noarchive"
这样的标记是禁止搜索引擎为你的网站建立快照。
如何设置网站Robots协议设置网站Robots协议主要有两种方式，第一种是在站点的根目录下增加一个纯文本文件，例如http://www.aaa.com/robots.txt。
第二种是直接在页面中使用robots的meta标签。
Robots协议的标签类型Robots协议的标签有四类：index、noindex、follow、nofollow。
使用时以逗号分隔。
Robots协议的组合方式根据以上的命令，我们就有了一下的四种组合：
META NAME="ROBOTS" CONTENT="INDEX,FOLLOW" ：可以抓取本页，而且可以顺着本页继续索引别的链接
META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW" ：不许抓取本页，但是可以顺着本页抓取索引别的链接
META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW" ：可以抓取本页，但是不许顺着本页抓取索引别的链接
META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW" ：不许抓取本页，也不许顺着本页抓取索引别的链接。
禁止搜索引擎建立快照禁止搜索引擎建立快照的方法是使用meta标签，例如： meta name="robots" content="noarchive"
以上是关于如何设置网站Robots协议及Meta标签的详细介绍，希望对大家有所帮助。
欢迎关注我们的网站，获取更多SEO知识。
版权声明：如何设置网站Robots协议及Meta标签详解 系墨家SEO原创发布转载时请以链接形式注明文章出处：https://mihxws.cn/youqing-119222.html
未注明出处链接视为侵权。对于任何侵犯版权的行为，我们将依法采取措施，并保留追诉法律责任的权力
