使用python抓取有路网图书信息(原创)
以前挺喜欢去有路网买二手书的,但是有路网有个缺陷,就是放在图书列表中的书很多都没货了,尤其是一些热门的方向,比如android,在列表中的书大多都没有货了,你必须一个一个点进入查看详细信息才能得知图书是否有货。因此,很久之前用python写了一个抓取的脚本,用来按书名搜索图书以及库存信息。现在拿出来与大家分享一下,因为是最开始学python的时候写的,有些地方写的不是特别好。比如那个时候对于正则表达式不是特别懂,所以用的不是特别好。其次,采用urllib库发送http请求的,效率太低。建议使用tornado库或者采用node.js(见 http://www.cnblogs.com/dyf6372/p/3536821.html)。哦,还有一个问题,网页编码处理的不好,可能部分网页会乱码。废话少说,直接上代码:
# coding: utf-8
import urllib
import re
import sys
reload(sys)
sys.setdefaultencoding('utf8')
class ReadFromWeb:
def setKeyWord(self, keyword):
self.url = 'http://www.youlu.net/search/result/?isbn=&publisherName=&author=&bookName=' + urllib.quote(keyword.decode('utf-8').encode('gb18030'))
def getHtml(self):
try:
self.html = urllib.urlopen(self.url).read().decode('gb18030').encode('utf-8')
except UnicodeDecodeError:
self.html = urllib.urlopen(self.url).read()
finally:
return self.html
def list(self):
self.id_group = re.findall('<a href=\"/[0-9]*\" target=\"_blank\">.*</a>', self.html)
for in_id in self.id_group:
try:
url = re.findall('[0-9]+',in_id)[0].encode('utf-8')
detail = re.findall('>.*<',in_id)[0].encode('utf-8')
except UnicodeDecodeError:
url = re.findall('[0-9]+',in_id)[0]
detail = re.findall('>.*<',in_id)[0]
if detail.find('img')<0 and detail.find('我要购买')<0:
if self.getDetail(url) > 0:
print detail[1:-1]
print '有货:'+str(self.getDetail(url))+":"+"http://www.youlu.net/"+url
else:
print detail[1:-1]
print '无货'+":"+"http://www.youlu.net/"+url
def getDetail(self, url):
target = "http://www.youlu.net/" + str(url);
try:
returnStr = urllib.urlopen(target).read().decode('gb18030').encode('utf-8')
except UnicodeDecodeError:
return 0
startStr = re.findall('startRequestBookBuyLink\(.*\)',returnStr)[0]
realNumber = int(startStr.split(',')[3].strip()[1:-1])
return realNumber
def setSearchNextPage(self):
self.nextPage = re.findall('(?<=\"下一页\" href=\").*(?=\">下一页</a>)', self.html)
if len(self.nextPage) > 0:
self.url = self.nextPage[0]
return True
return False
def setAndSearch(self,keyword):
self.setKeyWord(keyword)
self.getHtml()
self.list()
while self.setSearchNextPage():
self.getHtml()
self.list()
if __name__ == "__main__":
keyword = raw_input("Type in search keyword:")
readFromWeb = ReadFromWeb()
readFromWeb.setAndSearch(keyword)
下面是使用结果示例:
————————————————————————————
Type in search keyword:java
JAVA 2实用教程实验指导与习题解答-(第三版)
有货:190:http://www.youlu.net/2597032
Java面向对象程序设计
有货:88:http://www.youlu.net/2504849
Java EE 5开发基础与实践
有货:70:http://www.youlu.net/500752
Java 2实用教程 (第三版)
有货:68:http://www.youlu.net/5310
Java课程设计(第二版)
有货:61:http://www.youlu.net/500751
JAVA 2实用教程实验指导与习题解答-(第三版)
有货:60:http://www.youlu.net/2596529
JAVA 2实用教程(第三版)-实验指导与习题解答
有货:48:http://www.youlu.net/10750
Java 语言与面向对象程序设计(第2版)
有货:47:http://www.youlu.net/356506
Java程序设计教程(第2版)
有货:42:http://www.youlu.net/1008395
Java XML应用程序设计
有货:39:http://www.youlu.net/338105
Java程序设计习题集(含参考答案)
有货:37:http://www.youlu.net/1206253
Java大学实用教程学习指导(第2版)
有货:37:http://www.youlu.net/461648