利用requests库和正则表达式爬取猫眼top100的电影信息

爬取目标：https://maoyan.com/board/4?offset=0

一、爬取首页

def get_one_page(url):
        headers = {
            'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 63.0.3239.132Safari / 537.36'
        }   #添加user—agent（浏览器信息）
        response = requests.get(url,headers=headers)  #爬取指定的URL源码
        if response.status_code == 200:      #如果访问正常，返回网站源码
            return response.text
        return None

二、正则提取

正则提取首先要分析网站源代码

 

需要提取的信息有：排名，图片地址，片名，主演，上映日期和评分

从代码中可以看出，每个影片信息存放在一个<dd></dd>标签中

正则匹配时必须加上class名（class名唯一），非必要内容可用非贪婪匹配.*?，提取内容必须用（.*?）放在括号里，方便后面提取

正则表达式如下：

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>
   

使用compile方法将正则表达式变成正则对象

def parse_one_page(html):
    pattern = re.compile(
        '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S
    )
    items = re.findall(pattern,html)
    # print(items)
    for item in items:       #使显示结果清楚明了
        yield{
            'index':item[0],
            'image':item[1],
            'title':item[2].strip(),
            'actor':item[3].strip()[3:],
            'time':item[4].strip()[5:],
            'scroe':item[5].strip()+item[6].strip()
        }

 

 三、写入文件

使用json库中的dumps()方法实现字典的序列化

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
        print(type(json.dumps(content)))
        f.write(json.dumps(content,ensure_ascii=False)+'\n')     #ensure_ascii设为False，保证输入内容是中文字符而不是Unicode编码

 

四、整合代码

使用main()方法来实现前面实现的方法

def main():
    url = 'https://maoyan.com/board/4?offset=' 
    html = get_one_page(url)    #爬取首页
    for item in parse_one_page(html):     #解析首页，正则提取
        write_to_file(item)    #写入文件

 

五、分页爬取

每页的网址：'https://maoyan.com/board/4?offset=' + str(offset)，等号后面为n * 10，n为整数，为零是第一页，为10时，第二页，以此类推
完整代码如下：

import requests
import re
import json
import time
from requests.exceptions import RequestException

def get_one_page(url):
    try:
        headers = {
            'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 63.0.3239.132Safari / 537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile(
        '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S
    )
    items = re.findall(pattern,html)
    # print(items)
    for item in items:
        yield{
            'index':item[0],
            'image':item[1],
            'title':item[2].strip(),
            'actor':item[3].strip()[3:],
            'time':item[4].strip()[5:],
            'scroe':item[5].strip()+item[6].strip()
        }

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
        print(type(json.dumps(content)))
        f.write(json.dumps(content,ensure_ascii=False)+'\n')

def main(offset):
    url = 'https://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(offset=i * 10)
        time.sleep(1)

 

六、爬取结果