之前我的rotots.txt文件中有如下的描述
Disallow: /wp-content/plugins
Disallow: /wp-content/upgrade
Disallow: /wp-content/themes
意思是告诉搜索引擎机器人，上面的几个目录请不要索引。但是今天我在google中搜索的时候无意中发现有个/wp-content/plugins中的文件被索引了，感觉很纳闷，robots.txt已经写明了，怎么还会索引呢，于是打开google的站长工具开始检查，在Crawler access中的Generate robots.txt看到下面的话
If you want this rule to affect all files and directories, type /. To specify individual files or directories, type them one per line. Example:
/directory/file.html
/directory/subdirectory/
翻译一下，大概意思是说：如果你想这个规则影响目录下的所有文件，请在后面加上“/”字符。指定不同的目录或文件，请分行填写。
原来我的robots.txt写错了，google可能将”/wp-content/plugins”当成了一个独立的文件。造成上面的规则失效了。原因找到了，赶紧在后面都加了”/”. 我的robots.txt内容如下：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/themes/
