有关robots.txt文件贴士一枚
之前我的rotots.txt文件中有如下的描述
Disallow: /wp-content/plugins
Disallow: /wp-content/upgrade
Disallow: /wp-content/themes
意思是告诉搜索引擎机器人，上面的几个目录请不要索引。但是今天我在google中搜索的时候无意中发现有个/wp-content/plugins中的文件被索引了，感觉很纳闷，robots.txt已经写明了，怎么还会索引呢，于是打开google的站长工具开始检查，在Crawler access中的Generate robots.txt看到下面的话
If Read more [...]
