INDEX, NOINDEX, FOLLOW和 NOFOLLOW及优化和特点
The Robots META tag放于后台HTML源代码的标头区(HEAD区)中。

我举一个例子：

<HTML>
<HEAD>
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
<META NAME="DESCRIPTION" CONTENT="THIS PAGE ....">
<TITLE>...</TITLE>
</HEAD>
<BODY>
...

Robot Meta Tag选项：

在一个Robots Meta Tag 中可使用的指令有四个：INDEX, NOINDEX, FOLLOW和 NOFOLLOW，以“,”分隔。其中：

INDEX指令：表示Robot可以索引本页;

FOLLOW指令：表示Robot可以跟踪本页链接;

NOINDEX指令：表示拒绝Robot索引本页，但可跟踪该页上的链接;

NOFOLLOW指令：表示拒绝Robot跟踪本页链接，但可索引本页。

实例：

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

在一些关于Robots Meta tag的搜索引擎文章中提到说，预定义的缺省设置是INDEX和FOLLOW。然而对Inktomi来说却并非如此。Inktomi的缺省项是INDEX和NOFOLLOW。

另外还有两个全局指令：ALL和NONE.

ALL=INDEX，FOLLOW：表示可以索引本页，且可跟踪该页链接;

NONE=NOINDEX，NOFOLLOW：表示不允许索引本页，

转载自互联网