给自己网站创建了一个robots.txt,内容如下

User-agent: *
Disallow: /feed
Disallow: /wp-admin
Disallow: /wp-admin/
Disallow: /tag/
Disallow: /author/
Disallow: /2009/
Disallow: /2010/

如何针对自己的网站（或者博客）写符合自己要求的robots.txt呢？其实就是写Disallow
1.必须以/开头，代表根目录
2.目录：以/结尾，表示网站下这个目录不要被搜索，以文章开头的那个文件为例，/tag/目录下的所有页面都不能被抓取，
3.页面：如果希望某个页面不能被抓取，只需直接写地址就可以，例如上面的/feed /wp-admin

你写好以后确定自己写的是否符合你自己的要求google网站管理员工具进行一下测试

–EOF–