豆瓣爬取图书标签
这是我第一个全程自己动手做的项目,算得上是中小型的吧。
直接进入正题,这个项目要求是:1. 从豆瓣爬取相关图书标签; 2. 将不同种类的图书列为几个不同的列表,将各自种类的图书标签存进去; 3. 没有IP代理池,采用了延时的笨方法。
直接上代码:
import requests import re import xlwt import time import random from requests.exceptions import RequestException def do_spider(book_tag_lists): book_lists=[] for book_tag in book_tag_lists: book_list=book_spider(book_tag) book_lists.append(book_list) return book_lists def book_spider(book_tag): page_num = 0 book_list = [] try_times = 0 while (page_num<10): url = 'https://book.douban.com/tag/'+ book_tag + '?start='+ str(page_num * 20) # time.sleep(random.uniform(0,3)) # 0 到 3 之间的随机浮点数 # time.sleep(random.randint(0,5)) 0 到 5 之间的随机整数,包括0,5 try: headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36', 'Accept - Language': 'zh - CN, zh;q = 0.9' } # 加上headers,网站认为是浏览器访问,就能爬取 response = requests.get(url, headers=headers) if response.text: # 这5行代码是为了爬取每种类型的所有的书使用的 response_text = response.text else: try_times+=1 continue except RequestException: return None # if try_times > 200:break # 在这儿使用了while (page_num<10)来退出 pattern = re.compile('<li.*?<a.*?title="(.*?)".*?<div.*?pub">(.*?)</div>.*?' '"rating_nums">(.*?)</span>.*?</li>', re.S) items = re.findall(pattern, response_text) # 从网页中提取相关的标签 for item in items: other = item[1].strip() other_2 = other.split('/') # 把字符串通过'/'符号拆分为一个列表 try: title = item[0] except: title = '暂无' try: author = other_2[0].strip() except: author = '暂无' try: date = other_2[-2].strip() except: date = '暂无' try: rating_nums = item[2] except: rating_nums = '暂无' print(title,author,date,rating_nums) book_list.append([title, author, date, rating_nums]) try_times = 0 page_num += 1 print('Downloading Information From Page_' + str(page_num)) return book_list # 将爬取得内容写到Excel中 def print_book_list_excel(book_lists, book_tag_lists): wb = xlwt.Workbook(encoding='utf-8') for i in range(len(book_tag_lists)): ws = wb.add_sheet(book_tag_lists[i]) ws.write(0, 1, '标题') ws.write(0, 2, '作者') ws.write(0, 3, '出版日期') ws.write(0, 4, '评分') count = 0 for bl in book_lists[i]: count+=1 ws.write(count,0,count) for j in range(4): ws.write(count,j+1,bl[j]) wb.save('excel.xls') def main(): book_tag_lists = ['漫画','三毛','金庸','二战','小说','科技'] book_lists = do_spider(book_tag_lists) # 已经调用过book_spider了 print_book_list_excel(book_lists,book_tag_lists) if __name__ == '__main__': main()
项目制作流程:1.先按照以前的经验,爬取了“小说”的10页图书标签,并写在文本文档中。(中间遇到许多挫折,尤其是正则表达式这块)
2. 文本文档的内容不是按照“标题”、“作者”、“出版日期”、“评分”的顺序来排列的,而是乱序(因为for循环从字典中读数据本来就是乱序)。
于是看了下载的代码,采用了 book_list.append([title, author, date, rating_nums]) 来代替字典形式(因为for循环从列表中读数据是按顺序来的)。
3. 将其写入Excel表格,先用了下载的代码方法,不管用,只有sheet表格,没有写入的内容。网上查了一些方法,结合下载的代码,就实现了。
4. 最后改写代码为每个种类的图书建一个sheet表格。