stupid soso spider

抓取太过频繁屏蔽了它的N个IP段又换IP来抓，抓我的分页链接居然抓到负一百多页，我都不明白它怎么算出来的。
好多我自己都不知道的链接，他都来抓，把链接的A部分拼凑到另外的链接的B部分，可真是够滑稽的，雅虎和谷歌百度从来没见过这副德行，也不知道他们的算法怎么个........................