爬取饿了么商铺信息

分析:

当我们访问https://www.ele.me/home/时,看看我们得到了什么

 

 
1.png

我们发现所有的城市名称和他的经纬度,还有一个风流的男子

然后随机输入一些东西看看,进入某个地区看一看

在新的界面里我们看到了这样一条url:

https://mainsite-restapi.ele.me/shopping/restaurants?extras%5B%5D=activities&geohash=wwwmd9jmc43&latitude=37.53579&limit=24&longitude=121.40618&offset=0&terminal=web

其中wwwmd9jmc43是用geohash算法通过经纬度计算出来的值,latitude=37.53579和longitude=121.40618是经纬度,在首页的json文件中可以获取到,offset=0代表从0开始,页面显示24家商铺信息,由此构建url

通过这条url我们可以获得店铺名称,店铺地址和店铺电话等信息

 

 
2.png

geohash算法的python版

而最后我们所需要做的只不过就是一个循环而已

 

 
7w多商家

作为一个小白,通过这个爬虫,感受到了爬虫的乐趣,又学到了很多系统性学习中学不到的技术点,岂不美哉



作者:浠嘻
链接:https://www.jianshu.com/p/cb69cf0ed04a
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
posted @ 2018-05-08 23:08  左正  阅读(1485)  评论(0编辑  收藏  举报