Web爬虫|入门实战之猫眼电影

版权声明：原创不易，本文禁止抄袭、转载，侵权必究！

一、爬虫任务

任务背景：爬取猫眼电影Top100数据

任务目标：运用正则表达式去解析网页源码并获得所需数据

 

---

 

二、解析

任务URL：https://maoyan.com/board/4?offset=0

 

下图为猫眼电影的第一页：

 

再看看第二页：

 

最后看看第三页：

 

我们把这三页的URL复制下来，看一下URL规律：

https://maoyan.com/board/4?offset=0
https://maoyan.com/board/4?offset=10
https://maoyan.com/board/4?offset=20

从上面的URL可以看出，只有offset变化，offset意为偏移量，从中可以看出每一页的偏移量为10，可以把该参数定义为自变量，然后用循环爬取前10页的数据，也就是top100的数据

 

爬取任务

爬取猫眼电影top100电影的电影排名，图片地址，演员，电影名，上映时间以及电影评分

 

解析网页源代码

 

点击箭头打开dd标签块，看看具体的信息：

 

再看看network中的真实数据：

从以上的图中可以看出猫眼电影的数据都保存在dd标签块中，接下来就要用正则表达式去匹配所需的数据，再把这些数据以json格式保存到文本文件中以及MongoDB数据库中

 

---

 

 三、编码

获取网页源码

定义一个去获取HTML源码的方法

import requests
from requests import exceptions

def get_one_page(url):
  '''
  headers表示要传递的头信息，'User-Agent'表示伪装浏览器
  '''
  try:
    headers = {'User-Agent':'Mozilla/5.0'}
    response = requests.get(url,headers=headers)
    if response.status_code == 200:
      return response.text
    else:
      return None
 except exceptions.RequestException:
    return None

 

解析源码并获得数据

import re

def parse_one_page(html):
  '''
  re.compile()方法会将正则表达式字符串转换为正则表达式对象，方便以后的复用
  re.S表示修饰符，可以忽略换行符
  re.findall()方法会将所有符合匹配模式的数据返回，并且以列表形式返回 
  yield是Python中的关键字，表示生成器，类似于return
  strip()方法可以把空的部分去掉，包括空格，换行符等，但它的操作对象必须是字符串
  '''
  pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
  movies_information = re.findall(pattern,html)
  for movie_information in movies_information:
    yield {
      '电影排名':movie_information[0],
      '图片地址':movie_information[1],
      '电影名':movie_information[2].strip(),
      '演员':movie_information[3].strip()[3:] if len(movie_information) > 3 else '',
      '上映时间':movie_information[4].strip()[5:] if len(movie_information) > 5 else '',
      '评分':movie_information[5].strip() + movie_information[6].strip()
    }

 

保存数据到文本文件

import json

def write_movies_data_to_file(movie_information):
  '''
  'a'表示以追加方式把数据写入文件中，这样就不会覆盖之前写入的数据
  json.dumps()方法可将json文本字符串序列化为json对象
  ensure_ascii=False表示忽略ASCII码，默认也为False
  indent表示json格式的缩进
  '''
  with open('../txt_file/maoyan_movies_information.txt','a',encoding='utf-8') as f:
    f.write(json.dumps(movie_information,indent=2,ensure_ascii=False) + '\n')

 

保存数据到MongoDB数据库

import pymongo

def insert_to_mongodb(content):
  '''
  client表示操作MongoDB数据库的对象
  db表示数据库对象
  collection表示集合对象，类似于MySQL中的table
  '''
  client = pymongo.MongoClient(host='localhost',port=27017)
  db = client['spiders']
  collection = db['maoyan_movies_data']
  try:
    if content:
      collection.insert(content)
      print('Success to insert!')
  except:
    print('Failed to insert!')

 

定义main()方法控制程序的运行

def main(offset):
  '''
  offset={offset}表示页数偏移量，这里用f-string函数把它设置为自变量，从而可以循环爬取
  '''
  url = f'https://maoyan.com/board/4?offset={offset}'
  html = get_one_page(url)
  for movie_information in parse_one_page(html):
    print(movie_information)
    write_movies_data_to_file(movie_information)
    insert_to_mongodb(movie_information)

 

主程序运行

import time

if __name__ == '__main__':
  '''
  time模块延迟爬取时间，猫眼已经加了反爬
  '''
  for i in range(10):
    main(offset=i*10)
    time.sleep(1)

 

完整源码如下

import requests
import re
import time
from requests import exceptions
import json
import pymongo

def get_one_page(url):
  try:
    headers = {'User-Agent':'Mozilla/5.0'}
    response = requests.get(url,headers=headers)
    if response.status_code == 200:
      return response.text
    else:
      return None
  except exceptions.RequestException:
    return None

def parse_one_page(html):
  pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
  movies_information = re.findall(pattern,html)
  for movie_information in movies_information:
    yield {
      '电影排名':movie_information[0],
      '图片地址':movie_information[1],
      '电影名':movie_information[2].strip(),
      '演员':movie_information[3].strip()[3:] if len(movie_information) > 3 else '',
      '上映时间':movie_information[4].strip()[5:] if len(movie_information) > 5 else '',
      '评分':movie_information[5].strip() + movie_information[6].strip()
    }

def write_movies_data_to_file(movie_information):
  with open('../txt_file/maoyan_movies_information.txt','a',encoding='utf-8') as f:
    f.write(json.dumps(movie_information,indent=2,ensure_ascii=False) + '\n')

def main(offset):
  url = f'https://maoyan.com/board/4?offset={offset}'
  html = get_one_page(url)
  for movie_information in parse_one_page(html):
    print(movie_information)
    write_movies_data_to_file(movie_information)
    insert_to_mongodb(movie_information)

def insert_to_mongodb(content):
  client = pymongo.MongoClient(host='localhost',port=27017)
  db = client['spiders']
  collection = db['maoyan_movies_data']
  try:
    if content:
      collection.insert(content)
      print('Success to insert!')
  except:
    print('Failed to insert!')

if __name__ == '__main__':
  for i in range(10):
    main(offset=i*10)
    time.sleep(1)

 

运行效果

控制台输出：

 

json格式的txt文本结果：

 

 

MongoDB输出结果：

 

 

---

 

四、总结

请求库requests及exceptions模块

标准库re

time模块

json模块

Python与MongoDB数据库对接的pymongo库

 

 原创不易，如果觉得有点用，希望可以随手点个赞，拜谢各位老铁！

 

---

 

 

五、作者Info

作者：南柯树下，Goal：让编程更有趣！

原创微信公众号：『小鸿星空科技』，专注于算法、爬虫，网站，游戏开发，数据分析、自然语言处理，AI等，期待你的关注，让我们一起成长、一起Coding！

转载说明：本文禁止抄袭、转载 ，侵权必究！

 

---

 更多独家精彩内容  请扫码关注个人公众号，我们一起成长，一起Coding，让编程更有趣！

---

 

——  ——  ——  ——  —  END  ——  ——  ——  ——  ———— 

　　　　　　　  欢迎扫码关注我的公众号

　　　　　　　　　　小鸿星空科技