Z-Blog：如何写针对搜索引擎的robots

1585635

我的个人站是用z-blog建的站，最近我发现很多的z-blog站长都不知道应该怎么设置自己的robots，其实robots设置对网站优化来说还是非常重要的。创建 robots.txt 文件，可以不让搜索蜘蛛抓取你的网站的部分目录或者文件。 对于一个网站来说并非抓取的目录和文件越多越好，因为不是所有的文件都需要被搜索引擎抓取，有兴趣的站长可以到我的网站看看robots的案例：。
      以下几种情况有足够的理由告诉我们robots设置的重要性： 有些文件根本没有关键词或文本，比如本站的这个页面cmd.asp。 一般情况下，站内的搜索结果页面用robots设置屏蔽掉更好，比如本站的sreach.asp 网站后台管理页面，不希望被用户搜索到引来不必要的麻烦，也需要用robots设置屏 网站改版或url重写时原来不符合搜索引擎友好的链接都需要用robots设置屏蔽掉 相似度太高的页面，不符合搜索引擎的网站相似度规则，也可以用robots设置屏蔽掉 以下是我的个人站的robots设置规则,希望能够起到抛砖引玉的作用： ## robots.txt for dikeyao # Version 4.0.0#User-agent: * # Directories Disallow: /FUNCTION/ Disallow: /CACHE/ Disallow: /XML-RPC/ Disallow: /SCRIPT/ Disallow: /ADMIN/ Disallow: /CSS/ Disallow: /LANGUAGE/ Disallow: /DATA/ Disallow: /THEMES/ Disallow: /INCLUDE/ #Files Disallow: /wap.asp Disallow: /cmd.asp Disallow: /c_option.asp Disallow: /c_custom.asp #Sitemap Sitemap:  # Directories
     以下是需要屏蔽的目录 #Files以下是需要屏蔽的文件 #Sitemap　如果网站有sitemap.xml最后还可以加上sitemap语句。 Nrobots设置规则可以参考：google管理员工具robots设置指南 z-blog的用户还可以参考一些行业中比较有名的博客，比如月光博客，方法很简单就是在网址后边有加上robots.txt即可(robots.txt在根目录下)，就是用了这种方法 ，同理查看其它网站robots设置也用此方法。