网站发布以后往往很多人都忘了写一个Robots文件，其实这个文件是非常有用的。我们知道搜索引擎的网络蜘蛛会沿着你的网站结构一直抓取下去，但是，我们有时候并不希望有些东西被搜索引擎抓取，这就涉及到如何保护网站的个人隐私问题，这时，Robots文件就派上用场了。

Robots的具体网页源码表现形式为：<meta name=”robots” content=” “>。Robots的content部分文字可以填写的内容为：all、none、index、noindex、follow和nofollow。对于Robots的content部分填充内容有如下说明解释：

  • 设定为all：文件将被检索，且页面上的链接可以被查询；
  • 设定为none：文件将不被检索，且页面上的链接不可以被查询；
  • 设定为index：文件将被检索；
  • 设定为follow：页面上的链接可以被查询；
  • 设定为noindex：文件将不被检索，但页面上的链接可以被查询；
  • 设定为nofollow：文件将不被检索，页面上的链接可以被查询。

一般来说，大部分网站并没有太多的内容禁止搜索引擎机器人索引，Robots的通用写法都是：<meta name=”robots” content=” all”>。如果想对Robots做一些个性化的设置，可以参照上面的相关说明来完善Robots的content部分内容。