摘要: 总感觉有什么地方出错了。这爬虫总是不通用。。#coding:utf-8import Queue,re,urllib2import threadingfrom BeautifulSoup import BeautifulSoup# 目标task_url="http://www.baidu.com/"#... 阅读全文
posted @ 2014-04-29 14:56 墨迹哥's 阅读(304) 评论(0) 推荐(0) 编辑
摘要: #coding:utf-8import sys,urllib2,re,Queuesys.path.append("..")from lib.Http_Class import Http_Classfrom BeautifulSoup import BeautifulSoup#############... 阅读全文
posted @ 2014-04-29 13:49 墨迹哥's 阅读(679) 评论(0) 推荐(0) 编辑
摘要: 之前写的爬虫目前需要调优,所以重写。我必须做到不依赖数据库,不然的话太麻烦了。昨晚睡不着,好好思考了下,发现BUG还有几处。今天记录下。#coding:utf-8import sys,urllib2,re,Queuesys.path.append("..")from lib.Http_Class i... 阅读全文
posted @ 2014-04-29 11:03 墨迹哥's 阅读(364) 评论(0) 推荐(0) 编辑