会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
小锦毛
博客园
首页
新随笔
联系
订阅
管理
2019年4月16日
利用selenium爬取京东商品信息存放到mongodb
摘要: 利用selenium爬取京东商城的商品信息思路: 1、首先进入京东的搜索页面,分析搜索页面信息可以得到路由结构 2、根据页面信息可以看到京东在搜索页面使用了懒加载,所以为了解决这个问题,使用递归。等待数据全部加载完成。 3、创建下一页的函数去完成点击事件,获取下一页的数据 4、首页处理就直接放在脚本运行就好了。 5、将数据放到mongodb中可以实现自己定义搜索内容,注意京东的页面数据最...
阅读全文
posted @ 2019-04-16 20:19 小锦毛
阅读(521)
评论(0)
推荐(0)
编辑