会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
向翔,Keep Walking!
www.aichaobai.com
博客园
首页
新随笔
联系
订阅
管理
2009年7月22日
stupid soso spider
摘要: 抓取太过频繁屏蔽了它的N个IP段又换IP来抓,抓我的分页链接居然抓到负一百多页,我都不明白它怎么算出来的。好多我自己都不知道的链接,他都来抓,把链接的A部分拼凑到另外的链接的B部分,可真是够滑稽的,雅虎和谷歌百度从来没见过这副德行,也不知道他们的算法怎么个........................
阅读全文
posted @ 2009-07-22 16:49 Keep Walking
阅读(1713)
评论(0)
推荐(0)
编辑