Python爬虫学习(三) ——————爬取外卖信息
距离上一次写博客已经差不多有半年了，深表惭愧..... 废话不多说，说说今天的任务，今天我们的目的爬取外卖信息，选择的平台是饿了吗。
第一步：饿了吗官网进去，定位中南海
第二步：随笔点进去一个商家
我们需要爬取的是每一种食品的名称、月销售量、评分、评论数
第三步：查看源代码发现根本找不到我们需要的元素，很显然这是一个动态页面，那我们可以通过抓包来查看请求过程，F12+F5,
很显然在这里找到了我们需要的东西，找到了入口之后直接上代码：
1 # -*- coding: utf-8 -*- 2 # @Time : 2017/12/10 13:43 3 # @Author : Ricky 4 # @FileName: elm.py 5 # @Software: New_start 6 # @Blog ：http://www.cnblogs.com/Beyond-Ricky/ 7 8 import requests 9 import json 10 restaurant_url = 'https://www.ele.me/restapi/shopping/v2/menu?restaurant_id=147207648' 11 web_data = requests.get(restaurant_url) 12 content = web_data.text 13 json_obj = json.loads(content) 14 for item in json_obj: 15 for food in item.get('foods'): 16 print(food.get('name')) 17 print(food.get('tips')) 18 print(food.get('rating'))
4.我们的目的是爬取中南海附近所有的外卖信息，这样一个个爬取肯定是浪费时间的，返回到上一页，我们再随便打开几个店铺，发现几个url只有后面一串数字不同，观察之后发现这就是店铺的id，因此我们只需要获取所有店铺的id就可以获取所有店铺的外卖信息了。爬取id的过程其实和上一个页面差不多，都是通过抓包完成的，这里不多做解释。直接上完整代码
1 # -*- coding: utf-8 -*- 2 # @Time : 2017/12/10 15:35 3 # @Author : Ricky 4 # @FileName: final_version.py 5 # @Software: New_start 6 # @Blog ：http://www.cnblogs.com/Beyond-Ricky/ 7 8 import requests 9 import json 10 import time 11 from bs4 import BeautifulSoup 12 import lxml 13 id_list = []#店铺的id列表 14 name_list = []#店铺的名称列表 15 address_list = []#店铺的地址列表 16 17 def get_all_id(): 18 for offset in range(0,985,24): 19 url='https://www.ele.me/restapi/shopping/restaurants?extras%5B%5D=activities&geohash=wx4g06hu38n&latitude=39.91406&limit=24&longitude=116.38477&offset={}&terminal=web'.format(offset) 20 web_data = requests.get(url) 21 soup=BeautifulSoup(web_data.text,'lxml') 22 content = soup.text 23 json_obj = json.loads(content) 24 for item in json_obj: 25 restaurant_address = item.get('address') 26 address_list.append(restaurant_address) 27 restaurant_name = item.get('name') 28 name_list.append(restaurant_name) 29 restaurant_id = item.get('id') 30 id_list.append(restaurant_id) 31 return name_list,address_list,id_list 32 get_all_id() 33 m=0#用来计数，第几个店铺 34 n=0#用来记录数据，第几条数据 35 for id in id_list: 36 m=m+1 37 restaurant_url = 'https://mainsite-restapi.ele.me/shopping/v2/menu?restaurant_id='+str(id) 38 print('*************************这里是店铺分界线******第{}个店铺*********************************************'.format(m)) 39 40 print(name_list[m]) 41 print(address_list[m]) 42 headers = {'User-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'} 43 44 web_data = requests.get(restaurant_url,headers=headers) 45 #time.sleep(3) 46 content = web_data.text 47 json_obj = json.loads(content) 48 try: 49 for item in json_obj: 50 for food in item.get('foods'): 51 52 n +=1 53 print('第%d条数据:' % n) 54 print(food.get('name'),food.get('tips'),'评分',food.get('rating')) 55 except AttributeError as e : 56 pass 57 except IndexError as e1: 58 pass
至此我们的任务就完成了！写得不好的地方欢迎指正！后面还会有爬虫系列的文章，谢谢大家！
