摘要: 爬取豌豆荚: 1.访问游戏主页 https://www.wandoujia.com/category/6001 2.点击查看更多,观察network内的请求 - 请求url page2: https://www.wandoujia.com/wdjweb/api/category/more? catI 阅读全文
posted @ 2019-07-04 09:22 ningshao 阅读(88) 评论(0) 推荐(0) 编辑
摘要: ''' 爬取豌豆荚app数据 spider_method: requests + bs4 or selenium url: https://www.wandoujia.com/category/6001 data: 名... 阅读全文
posted @ 2019-07-03 21:48 ningshao 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 一 selenium剩余部分 -点击、清除 click、clear -Action Chains 是一个动作链对象,需要把driver驱动传给它 动作链对象可以操作一系列设定好的动作行为 -frame的切换 driver.switch_to_frame('iframeResult') -执行js代码 阅读全文
posted @ 2019-07-03 20:57 ningshao 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 一 requests请求库爬取豆瓣电影信息 - 请求url https://movie.douban.com/top250 - 请求方式 GET - 请求头 user-agent cookies 二 selenium请求库 1、什么是selenium? 期初是一个自动化测试工具,原理是驱动浏览器执行 阅读全文
posted @ 2019-07-02 14:45 ningshao 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 1、什么是爬虫? 爬取数据 2、什么是互联网? 由一堆网络设备,把一台台的计算机互联到一起称之为互联网 3、互联网建立的目的? 数据的传递与数据的共享 4、什么是数据? 例如:电商平台的商品信息(淘宝、京东) 链家、自如租房平台的房源信息 股票证劵投资信息 12306,票务信息(抢票) 5、什么是上 阅读全文
posted @ 2019-07-01 14:47 ningshao 阅读(158) 评论(0) 推荐(0) 编辑