Loading

pyspider的一个诡异问题

其Start_url两次抓取处理失败以后,其之后的所有抓取行为就不正常,似乎根本没有HTTP访问,我把该爬虫的taskdb清空,该爬虫爬取行为恢复正常。这个问题已提交pyspider官方,静待回答。

posted @ 2017-07-05 15:07  _朝晖  阅读(230)  评论(0编辑  收藏  举报