今天教大家最
简单制作robots.txt的方法，高手请飘过^_^。
站长们往往都希望搜索引擎经常光顾自己的网站，seoer们则更加希望搜索引擎爬行网站的每个网页。但朋友们请不要忘记，网站中有些很敏感的数据是不宜被人家知道的，比如数据库存放的目录或者管理后台的地址，这时候我们就需要使用
robots.txt文件了。
还有很多新的站长不知道
robots.txt文件的作用，网站有很多关于
robots.txt作用的介绍，但大都说得晦涩难懂，我这里用最简单的语言告诉大家：
robots.txt 文件是用来指定网站中哪些文件或目录不被搜索引擎抓取的工具。也就是说，你可以使用
robots.txt 文件来指定不让哪些漫游器（搜索引擎爬行蜘蛛）抓取你的网站以及你不希望抓取哪些文件或目录。
robots.txt语法比较烦琐，这不利于新站长们掌握
robots.txt用法。但是google网站管理员工具却给我们提供了极大的方便，请大家看下图：
1、首先申请一个google帐号，（这简直是废话^_^）
2、登陆以后在浏览器的右上角进入“我的帐户”，接着打开“网站管理员工具”，
3、在“控制台”添加你的网站，并且单击进入该网站项目，
4、点击“工具”选项，然后你就可以看到与上图类似的内容了，
5、打开“生成
robots.txt”选项，花10秒钟时间看一下整个版面，使心中有个大概的印象，
6、第一步保持默认；第二步中的“操作”选择“拦截”；“漫游器”选择“所有漫游器”；“文件或目录”填写你不希望被搜索引擎抓取的目录或者文件，比如我填写的是worpress默认的后台管理目录“wp-admin”；最后点击“生成”，
7、完成上述操作以后，你就可以在第三步中看到你制作的
robots.txt文件的内容了，如果没有问题的话，你可以点击“下载”；先保存到你的本地电脑，然后上传至你网站的根目录即可。
这应该是最
简单制作robots.txt的方法了，菜得跟我一样的鸟儿们，赶快去试试吧:)
[
本帖最后由 siting 于 2008-4-28 21:42 编辑 ]
