百度和天极的事情似乎越闹越大了，天极网好像要走法律途径起诉百度，百度虽然解释了不少，但似乎大多数人不相信，其实我做为一个知道搜索引擎相关知识的人，是可以理解百度的解释的，但是可惜大多数人对搜索引擎的内部机理不是很清楚，因此要说服这么多人，还是有一定难度的。
不过又听到一个有趣的说法，说天极这次发难的主要原因是因为有某个搜索公司要收购天极，因此天极为了前期的准备，就开始对百度发难，不过我感兴趣的是，背后的收购者到底是谁？
参考新闻：（电脑报）百度和天极打起来了
当你通过搜索引擎查到熟悉的网站页面，满怀信心地点击链接进去之后，出现在眼前的却是一个完全陌生的第三方网站页面。这时你的心情将会如何?
“愤怒!”2006年9月7日，卷入“百度修改事件”的中国知名IT网站天极网用一纸声明表明了自己的心情。数小时后，百度紧急发表公开声明，指责天极和另外一家网站华军软件站自身错误是造成这次“修改事件”的最关键原因。第二天，天极再次声明，并直接在网站上公布大量收集到的关于百度非法窜改搜索结果的证据。
至此，“百度修改事件”越闹越大，成为2006年最具轰动效应的互联网事件。
“这是互联网历史上最恶劣的事件之一”
天极网
“我们一直都是一家技术严谨的公司”
百度
偷梁换柱
9月7日上午，天极网用户接待中心突然接到许多网民电话，都是询问同样一个问题:百度搜索引擎上的天极软件搜索结果怎会自动跳转到另一家软件网站?
天极网方面立即组织专门人员进行调查，结果让人大吃一惊。
“我们当时看到在百度上的天极搜索结果直接链接到了另一家天空软件网站。很明显，这是一种赤裸裸的恶意修改。”当记者拨通天极网副总裁范锋的电话时，对方压抑不住心中的愤怒。
9月7日，当记者登录到百度，直接键入“天极下载”进行搜索，结果在第二项搜索结果处很明显链接变成了天空软件网站。点击进行，同样也是直接进入天空软件。而键入“华军下载”后出现了同样情况。
天空软件到底是怎样一个网站?
天空软件网站最初是一个个人网站，创建于2001年，主要提供软件下载业务。2006年百度花重金收购这家网站，希望对其提升流量有所帮助。如此一来，百度上出现的错误搜索结果全部指向百度自己的软件网站，难免让人浮想联翩。
事件发生后，天极网在9月7日作出了强烈反应，公开发布“强烈谴责百度公司恶意操纵搜索结果、欺骗网友的声明”。
天极网在声明中表示，对搜索结果恶意窜改导致的直接后果是，部分网民将在不知情的情况下，被百度“导引”，放弃使用天极下载、华军下载，转而使用天空下载。要求百度公司立即停止并纠正错误，并在百度网站上赔礼道歉。
随后，百度方面给本报发来了针对搜索结果错误的官方声明。在声明中，百度否认对搜索结果有过任何人工修改，并指责天极和华军网站编辑的人为疏忽是造成这次修改事件的最关键原因。
各执一词
在采访中，天极副总裁范锋强调百度之所以这么做，完全是为了提升旗下网站的访问流量。
“为什么在其他网站上都没有出现这种情况，独独百度上出现了。明眼人一看就知道他们(百度??编者注)的用意，通过修改搜索结果为自己的网站提升访问流量。不客气地说，这是中国互联网历史上最恶劣的事件，影响实在太坏了。”
“那么天极网下一步会采取怎样的措施?”记者问
“目前我们已经收集和保存了更多相关证据，都放在网站首页上，建议你去看看。至于进一步行动还在研究之中，总之我们会对网民负责，替网民朋友讨回一个公道。”
在采访百度公关总监王东的过程中，对方则一再表明百度在技术上的成熟严谨，绝对不会为了一点流量去恶意修改搜索结果。
“我们在声明中专门提到了我们的搜索技术是相当成熟的，整个搜索过程不会有任何人工干预的情况发生。”
“目前天极已经在网站上公布更多关于百度修改搜索结果的证据，包括截图，对此百度方面是怎么看的?”记者问。
“我目前还没有看到这些内容，所以不好发表任何评论。但是我有必要通过贵报再次声明一下，百度一直是一家技术严谨的上市公司，不会做任何恶意修改搜索结果的事情。”王东回答。
在本文截稿之时，天极在网站上发表第二次严正声明，保留进一步采取法律行动的权力。
2006年9月8日星期五
百度和天极网闹矛盾了
百度和天极网的这些天的炒作，还是挺有意思的。天极网指责百度在搜索界面将自己的天空软件放在天极下载的后面，而百度则解释，是因为天极网编辑自己错误编辑了链接导致出现这种情况。
从技术角度上讲，我觉得百度的解释是合理的，也是令人信服的。然而可惜的是，大多数人不明白SEO，也不知道链接有什么意义，因此可能不会相信百度的这番解释。这个处境应该令百度非常尴尬，“Google搜索南京大屠杀”那种有口也解释不清的际遇大概百度现在也体会到了。
所以说，企业之间的这种竞争本来就应该站的更高一些，不要走什么旁门左道，这样对别人对自己都是有好处的。
从技术角度上讲，我觉得百度的解释是合理的，也是令人信服的。然而可惜的是，大多数人不明白SEO，也不知道链接有什么意义，因此可能不会相信百度的这番解释。这个处境应该令百度非常尴尬，“Google搜索南京大屠杀”那种有口也解释不清的际遇大概百度现在也体会到了。
所以说，企业之间的这种竞争本来就应该站的更高一些，不要走什么旁门左道，这样对别人对自己都是有好处的。
2006年9月7日星期四
百度开始收录Blogspot的内容
前几天发现有人在谴责百度不收录Blogspot，于是百度的坚定支持者博清沉就沉不住气了，发表文章说目前百度开始收录Blogspot了。
我也搜索了一下，的确是这样的，百度的确开始收录Blogspot的内容了，不过等的时间也的确太长了，Blogspot已经整整可以访问一个多月的时间了，百度才慢腾腾地收录，我倒是感觉奇怪了，百度不是自称人工干预很在行吗？为什么不在这么大的事情上人工干预一下呢。我想恐怕还是因为百度空间和Blogspot的竞争关系吧。
2006年8月20日星期日
nofollow标签的使用
bestroi建议说一下nofollow，所以把以前写的一篇转过来。
nofollow是一年多前(好象)由Google领头新创的一个标签属性，目的是尽量减少垃圾链接对搜索引擎的影响。
Matt Cutts说过，这个标签的意义是告诉搜索引擎这个链接不是经过作者自己编辑的，所以这个链接不是一个信任票。搜索引擎看到这个标签就可能减少或完全取消链接的投票权重。
这个标签通常是用在博客的评论或论坛帖子中，因为这些地方是最多垃圾链接出现的地方。现在主流的博客和论坛软件都自动在评论和帖子的链接中加上了这个标签。
另外一个作用是，如果你在网站上卖广告，可以使用这个标签。因为买卖网页广告的初衷应该是流量，而不是PR值或试图影响搜索引擎排名。加上这个标签完全不会影响流量，但是有可能减少对搜索引擎排名的影响。
那么加了这个标签会把链接投票权重和PR传递值降为零吗？这一点是存有一些疑问的。如果我记的不错的话，Google，Yahoo，MSN表示支持这个标签。但是他们真的把这些链接的投票权重降为零吗？并没有肯定。
可以肯定的是，nofollow+博客评论或论坛帖子，这样的链接的投票权重可以忽略。
其他搜索引擎不一定支持这个标签，比如百度。就我观察的情况看，百度很可能不考虑这个标签，因为垃圾链接在百度还是很起作用的。
除了博客或论坛，在使用nofollow时要小心。想象一下，如果一个网站的导出链接都使用了nofollow标签，这显得自然吗？你向读者介绍一些网站，却告诉搜索引擎你不推荐这些网站？不可疑吗？受伤害的是其他人的网站，还是使用这个标签的网站呢？
以前也说过，害怕链接到其他网站是很多站长的一个误区，实际上链接到其他相关网站在很多时候会帮助你本身网站的排名。
但在博客评论和论坛帖子里面的链接就不一样了，这些链接是用户和读者自己加的，而不是网站拥有人或作者加的。在很多情况下，作者也不会去看这些链接去了什么网站。所以对这些网站的质量当然是不知道，并且不应该背书的。
读者如果有感而发，欢迎留评论，也欢迎留下签名链接。但是如果是想留个链接而留评论，那就不必了，不会有什么作用。
作者: Zac 原载: 点石互动搜索引擎优化博客
nofollow是一年多前(好象)由Google领头新创的一个标签属性，目的是尽量减少垃圾链接对搜索引擎的影响。
Matt Cutts说过，这个标签的意义是告诉搜索引擎这个链接不是经过作者自己编辑的，所以这个链接不是一个信任票。搜索引擎看到这个标签就可能减少或完全取消链接的投票权重。
这个标签通常是用在博客的评论或论坛帖子中，因为这些地方是最多垃圾链接出现的地方。现在主流的博客和论坛软件都自动在评论和帖子的链接中加上了这个标签。
另外一个作用是，如果你在网站上卖广告，可以使用这个标签。因为买卖网页广告的初衷应该是流量，而不是PR值或试图影响搜索引擎排名。加上这个标签完全不会影响流量，但是有可能减少对搜索引擎排名的影响。
那么加了这个标签会把链接投票权重和PR传递值降为零吗？这一点是存有一些疑问的。如果我记的不错的话，Google，Yahoo，MSN表示支持这个标签。但是他们真的把这些链接的投票权重降为零吗？并没有肯定。
可以肯定的是，nofollow+博客评论或论坛帖子，这样的链接的投票权重可以忽略。
其他搜索引擎不一定支持这个标签，比如百度。就我观察的情况看，百度很可能不考虑这个标签，因为垃圾链接在百度还是很起作用的。
除了博客或论坛，在使用nofollow时要小心。想象一下，如果一个网站的导出链接都使用了nofollow标签，这显得自然吗？你向读者介绍一些网站，却告诉搜索引擎你不推荐这些网站？不可疑吗？受伤害的是其他人的网站，还是使用这个标签的网站呢？
以前也说过，害怕链接到其他网站是很多站长的一个误区，实际上链接到其他相关网站在很多时候会帮助你本身网站的排名。
但在博客评论和论坛帖子里面的链接就不一样了，这些链接是用户和读者自己加的，而不是网站拥有人或作者加的。在很多情况下，作者也不会去看这些链接去了什么网站。所以对这些网站的质量当然是不知道，并且不应该背书的。
读者如果有感而发，欢迎留评论，也欢迎留下签名链接。但是如果是想留个链接而留评论，那就不必了，不会有什么作用。
作者: Zac 原载: 点石互动搜索引擎优化博客
2006年8月14日星期一
Google搜索南京大屠杀的谣言背后
关于Google的这则谣言已经传播了很长时间了，我一开始对于这样的低级谣言非常不屑，但是随着这则谣言的大量传播，我发现事情开始变得开始有意思了，我现在感兴趣的事情是，对于这样一则一眼就能分辨出事实真相的谣言，为什么传播起来却有愈演愈烈的事态呢？这到底说明了什么呢？这背后的原因又是什么？
这则谣言说的是，在Google搜索引擎里，搜索“南京大屠杀”或“钓鱼岛”，出现的是：“该页无法显示”的提示，而且在以后的短时间内，将不能使用Google进行搜索，但是如果先搜索“尖阁列岛”，就可以搜到结果。因此，这是丑恶的亲日反华的美国鬼子企图从互联网上对我国进行信息封锁！用心极其险恶！
Google真的搜索不了吗？非也，使用代理即可搜索，如下图，这显然不是Google搜索引擎的问题，而是中间的线路中有某个东西阻止我们进行搜索。Google.COM不会对中国用户进行信息封锁，即使有封锁，那也是另有他人。这就是最基本的事实。
对于这么一个简单的问题，我本来觉得没有必要进行任何解释，然而令人吃惊的是，竟然有这么多年轻的网民对这则可笑的谣言深信不疑，并四处转发，这实在太出乎我的意料之外，同时我也对大量中国网民的网络知识水平竟然如此之低感到震惊，显然，太多太多的年轻小愤青对防火长城和金盾工程是一无所知，对于最基本的网络知识相当贫乏，缺少独立思考能力和判断力。这么大量的无知网民，一旦被某个公司或者某种势力利用起来，去实现某个阴谋，那么后果将不堪设想。
我相信这个事情一定会真相大白的，利用年轻人的愚昧无知来实现某个不可告人的目的，那是在玩火，愚昧无知的人是可怕的，因为愚昧无知往往给了这些人以巨大的勇气，使他们可以做一些正常人不敢或者不会去做的事情，而这些事情一旦失控，则受伤的往往可能是那些幕后主谋。
最后，对于那些整天沉迷于网络聊天或者网络游戏的无知的小朋友们，请你们在空闲时候不妨多学点知识和文化，相信这对你们只会有好处，不会有坏处的。
这则谣言说的是，在Google搜索引擎里，搜索“南京大屠杀”或“钓鱼岛”，出现的是：“该页无法显示”的提示，而且在以后的短时间内，将不能使用Google进行搜索，但是如果先搜索“尖阁列岛”，就可以搜到结果。因此，这是丑恶的亲日反华的美国鬼子企图从互联网上对我国进行信息封锁！用心极其险恶！
Google真的搜索不了吗？非也，使用代理即可搜索，如下图，这显然不是Google搜索引擎的问题，而是中间的线路中有某个东西阻止我们进行搜索。Google.COM不会对中国用户进行信息封锁，即使有封锁，那也是另有他人。这就是最基本的事实。
对于这么一个简单的问题，我本来觉得没有必要进行任何解释，然而令人吃惊的是，竟然有这么多年轻的网民对这则可笑的谣言深信不疑，并四处转发，这实在太出乎我的意料之外，同时我也对大量中国网民的网络知识水平竟然如此之低感到震惊，显然，太多太多的年轻小愤青对防火长城和金盾工程是一无所知，对于最基本的网络知识相当贫乏，缺少独立思考能力和判断力。这么大量的无知网民，一旦被某个公司或者某种势力利用起来，去实现某个阴谋，那么后果将不堪设想。
我相信这个事情一定会真相大白的，利用年轻人的愚昧无知来实现某个不可告人的目的，那是在玩火，愚昧无知的人是可怕的，因为愚昧无知往往给了这些人以巨大的勇气，使他们可以做一些正常人不敢或者不会去做的事情，而这些事情一旦失控，则受伤的往往可能是那些幕后主谋。
最后，对于那些整天沉迷于网络聊天或者网络游戏的无知的小朋友们，请你们在空闲时候不妨多学点知识和文化，相信这对你们只会有好处，不会有坏处的。
2006年8月8日星期二
有感于Google不能搜索“南京大屠杀”
有些人发现，使用Google搜索“南京大屠杀”后将不会带来返回页面，而是一个无法显示的页面，而搜索其他词会正常返回结果页。无法搜索后而且会暂时性的无法访问google，得过几分钟才能再次使用Google搜索。
有些人于是得出结论，这是Google对中国的封锁。其实这是一个误解，被屏蔽的关键字不是“南京大屠杀”，绝对不是的。只要我们搜索一下“东京大屠杀”、“北京大屠杀”、“西京大屠杀”这些关键字看看，是不是同样的结果？然后，你再搜索一下“屠杀”看看，你看到了什么？如果还不满意，那么用英文YAHOO搜索一下，你又看到了什么？
你看到了什么呢？是“该页无法显示”。
是的，被屏蔽的关键字是“屠杀”。
为什么要屏蔽“屠杀”呢，原因很简单－“凡是贼，都是心虚的。”
以前做过一些不光彩的事情，总是不希望别人知道，所以要屏蔽，屏蔽“屠杀”，只要屏蔽了，就不会有人知道，没有人知道，心里自然就踏实多了。
人的一生，不过百年。一旦死去，就一了百了。我就相信人一定会下地狱而不是上天堂。然而，作恶太多人，是不是就真的不害怕下地狱吗？这是我感兴趣的问题，或许，真正到了那一天的时候，我们就会得到答案。
有些人于是得出结论，这是Google对中国的封锁。其实这是一个误解，被屏蔽的关键字不是“南京大屠杀”，绝对不是的。只要我们搜索一下“东京大屠杀”、“北京大屠杀”、“西京大屠杀”这些关键字看看，是不是同样的结果？然后，你再搜索一下“屠杀”看看，你看到了什么？如果还不满意，那么用英文YAHOO搜索一下，你又看到了什么？
你看到了什么呢？是“该页无法显示”。
是的，被屏蔽的关键字是“屠杀”。
为什么要屏蔽“屠杀”呢，原因很简单－“凡是贼，都是心虚的。”
以前做过一些不光彩的事情，总是不希望别人知道，所以要屏蔽，屏蔽“屠杀”，只要屏蔽了，就不会有人知道，没有人知道，心里自然就踏实多了。
人的一生，不过百年。一旦死去，就一了百了。我就相信人一定会下地狱而不是上天堂。然而，作恶太多人，是不是就真的不害怕下地狱吗？这是我感兴趣的问题，或许，真正到了那一天的时候，我们就会得到答案。
2006年8月2日星期三
如何写robots.txt
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。
robots.txt基本介绍
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
robots.txt写作语法
首先，我们来看一个robots.txt范例：http://www.csswebs.org/robots.txt
访问以上具体地址，我们可以看到robots.txt的具体内容如下：
# Robots.txt file from http://www.csswebs.org# All robots will spider the domain
User-agent: *Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.csswebs.org站点下的所有文件。
具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。
下面，我将列举一些robots.txt的具体用法：
允许所有的robot访问
User-agent: *Disallow:
或者也可以建一个空文件 “/robots.txt” file
禁止所有搜索引擎访问网站的任何部分
User-agent: *Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *Disallow: /01/Disallow: /02/Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBotDisallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: CrawlerDisallow:
User-agent: *Disallow: /
另外，我觉得有必要进行拓展说明，对robots meta进行一些介绍：
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法：
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
这样，一共有四种组合：
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞
其中
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”NONE”＞
目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：
＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞
表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。
特别说明，本文章的写作参考了一些网络信息，robin只是按照自己的思路对信息进行整理。
http://www.dunsh.org/2006/08/02/robotstxt/
robots.txt基本介绍
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
robots.txt写作语法
首先，我们来看一个robots.txt范例：http://www.csswebs.org/robots.txt
访问以上具体地址，我们可以看到robots.txt的具体内容如下：
# Robots.txt file from http://www.csswebs.org# All robots will spider the domain
User-agent: *Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.csswebs.org站点下的所有文件。
具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。
下面，我将列举一些robots.txt的具体用法：
允许所有的robot访问
User-agent: *Disallow:
或者也可以建一个空文件 “/robots.txt” file
禁止所有搜索引擎访问网站的任何部分
User-agent: *Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *Disallow: /01/Disallow: /02/Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBotDisallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: CrawlerDisallow:
User-agent: *Disallow: /
另外，我觉得有必要进行拓展说明，对robots meta进行一些介绍：
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法：
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
这样，一共有四种组合：
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞
其中
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”NONE”＞
目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：
＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞
表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。
特别说明，本文章的写作参考了一些网络信息，robin只是按照自己的思路对信息进行整理。
http://www.dunsh.org/2006/08/02/robotstxt/
订阅：
博文 (Atom)
