虽然Google现在去掉了搜索结果中重复页面的“Supplemental”标志，但是对于重复内容的惩罚Google从来都不会手软。如果一个网站中的重复内容太多，不管是抄袭别人的（应该杜绝），还是站内内容重复，都会影响到SEO的效果，导致流量不佳。

对于Wordpress博客程序来说，分类，Archive，Page，author，标签等页面都会或多或少产生重复的内容。如果这些都被Google索引，那么整个网站就会因为重复问题而受到相应的惩罚，流量也会相应减少。然而这些页面在所难免都会出现这样的问题，解决的办法就是使用robots.txt文件，通过它来禁止搜索引擎索引可能产生重复内容的页面。

Nathan Metzger称，自从在robots.txt中做了相应修改后，网站流量增加了20％。

详见：Get Your Blog Out of the Google Supplemental Index

可以参考一下Nathan Metzger和其他比较著名博客的robots.txt文件：

Nathan Metzger: http://www.notsoboringlife.com/robots.txt

John Chow Dot Com: http://www.johnchow.com/robots.txt

Shoemoney: http://www.shoemoney.com/robots.txt

UPDATES: 今天在robots.txt文件中增加下面两行（07.12.24）
# Disallow all files with ? in url
Disallow: /*?*
Disallow: /*?