这是 robotstxt.org 上的照片，非常有意思
今天生成googlesitemap的时候忽然意识到自己的blog一直没有放置robots.txt，以前做站我都会把这个整上的，但我的blog却一直没整，好像和我对其的放任有原因吧。最近开始有步骤的对我的blog进行SEO了，虽然有人说blog是比较难优化的，但我还是想试试，多研究研究，免得总是对别人说我对SEO感兴趣但实际上却一知半解。
对robots.txt我并不了解，以前都是照葫芦画瓢的整，对其中大部分声明都没有深入的了解。于是搜索robots.txt，找到维库，知识与思想的自由文库 的词条 Robots.txt，然后在其页面内的搜狗精选网站里面点去了 点石互动 的一篇介绍文章 如何写robots.txt？。虽然内容“参考了一些网络信息”，但不的不佩服robin的专业。
曾经有意的做过一个拒绝任何搜索引擎的站：
User-agent: *
Disallow: /
在我的网站标准学习计划中加入了robots.txt规则的学习。
雅虎收藏
百度搜藏