抓取猫眼电影排行
抓取猫眼电影排行
1. 抓取分析
需要抓取的目标URL为：http://maoyan.com/board/4，打开之后便可以查看到电影的排行，如下图：
（注：如果图片看不清楚请右键点击图片通过新的标签打开）
排名第一的是霸王别姬，页面中显示的有效信息有影片名称、主演、上映时间、上映地区、评分以及图片等信息。将该页面滚动到最下方，可以发现还有分页的列表，观察点击下一页时，URL发生了怎样的变化并记录这个变化规律：
可以发现第二页的URL为http://maoyan.com/board/4?offset=10，第三页的URL为http://maoyan.com/board/4?offset=20，以此类推。
2. 抓取第一页
定义一个函数用于抓取一个页面，函数的参数就是url，将我们要抓取页面的url传给函数，返回的结果就是服务器端的响应。
import requests def get_one_page(url): headers = { 'User-Agent':'Mozilla/5.0(Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36(KHTML,like Gecko) Chrome/65.0.3325.162 Safari/537.36' } response = requests.get(url,headers=headers) if response.status_code == 200: return response.text return None
发送请求的函数很快就定义了，剩下的问题就是调用这个函数去发请求了，这里我们通过main方法来调用：
def main(): url = 'http://maoyan.com/board/4' html = get_one_page(url) print(html) if __name__ == '__main__': main()
可以发现上面拿到的html就是第一页的源码了，接下来要做的就是从源码里面将我们需要的信息抽取出来（这里通过正则表达式实现）：
从源码分析，一部电影的信息就用一个dd标签存着。首先，需要提取电影的排名信息，而这个信息正好在calss为board-index的i节点内，这里使用非贪婪匹配来提取i节点内的信息，正则表达式为：'<dd>.*?board-index.*?>(.*?)</i>'；
随后需要提取电影的图片，可以看到，后面有a节点，其内部有两个img标签，经过测试，第二个img标签的data-src属性就是图片的连接，所以这里提取的就是这个属性的值：'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)"' ；
再往后，需要抓取电影的名称，它在后面的p标签内，class为name，所以，可以用name做一个标志位，然后进一步提取到其内a节点的标签体：'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>' ；
最后提取主演、上映时间、评分等内容：
'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'
通过这样的一个正则表达式就可以将我们需要的数据都提取出来了，然后这里也是通过一个函数去解析一个网页：
def parse_one_page(html): pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S) items = re.findall(pattern,html) for item in items: yield { 'index':item[0], 'image':item[1], 'title':item[2].strip(), 'actor':item[3].strip()[3:] if len(item[3]) > 3 else '', 'time':item[4].strip()[5:] if len(item[4]) > 5 else '', 'score':item[5].strip() + item[6].strip() }
这样就可以将我们需要的数据封装成一个对象返回，接下来就是数据的存储了，这里先使用文本直接存储：
def write_to_file(content): with open('result.txt','a',encoding='utf-8') as f : f.write(json.dumps(content,ensure_ascii=False) + '\n')
这里只是抓取并解析了一个网页，然而我们需要将整个排行榜抓取下来也很简单，只需要循环去执行这些函数就行了：
def main(offset): url = 'http://maoyan.com/board/4?offset=' + str(offset) html = get_one_page(url) for item in parse_one_page(html): write_to_file(item) if __name__ == '__main__': for i in range(10): main(offset=i*10)
3. 完整代码
import requests from requests.exceptions import RequestException import re import json import time def get_one_page(url): try: headers = { 'User-Agent':'Mozilla/5.0(Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36(KHTML,like Gecko) ' 'Chrome/65.0.3325.162 Safari/537.36' } response = requests.get(url,headers=headers) if response.status_code == 200: return response.text return None except RequestException: return None def parse_one_page(html): # 定义正则表达式，获取电影的排名，名称，主演，上映时间，评分 pattern = re.compile( '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime' + '.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S ) items = re.findall(pattern,html) print(items) for item in items: yield { 'index':item[0], 'image':item[1], 'title':item[2].strip(), 'actor':item[3].strip()[3:] if len(item[3]) > 3 else '', 'time':item[4].strip()[5:] if len(item[4]) > 5 else '', 'score':item[5].strip() + item[6].strip() } def write_to_file(content): with open('result.txt','a',encoding='utf-8') as f: f.write(json.dumps(content,ensure_ascii=False) + '\n') def main(offset): url = 'http://maoyan.com/board/4?offset=' + str(offset) html = get_one_page(url) for item in parse_one_page(html): write_to_file(item) if __name__ == '__main__': for i in range(10): main(offset=i*10) # 防止反爬虫机制 time.sleep(2)
