豆瓣爬虫小记(lowB版)

爬虫小记

看了python正则知识之后，可以利用正则知识学学网络爬虫。

需求分析

按照自己平时浏览的网页，留意下哪个网页的信息对自己有价值，分析要爬取哪些网页信息。这里我先爬取简单的静态网页，豆瓣网经典电影排名及详细信息。

爬取目标信息：排名，电影名，导演，评分，评价人数

具体步骤

• 设计下载html网页的函数

• 设计正则规则

• 存储爬取信息

!/usr/bin/env python

coding:utf8

import requests
import re
import json

def download():
response = requests.get(url.format(page=p25))
res = response.text
return res
def spider_dpuban():
get_html = download()
obj = re.compile('

.?(?P.?).?(?P