摘要: 一、 先在京东搜索墨菲定律,然后对页面上的商信息进行爬取: 然后我们对上面代码进行升级,使其能够对页面下拉,下一页从而爬取更多的商品信息: 将爬取信息的步骤写成一个递归函数进行调用 二、元素交互操作 1.在京东先搜索‘围城’,在清空输入栏,输入'墨菲定律'进行搜索 1 from selenium i 阅读全文
posted @ 2019-07-03 21:19 hh17 阅读(257) 评论(0) 推荐(0) 编辑
摘要: 一、 爬取豆瓣电影top250 首先我们要知道我们需要爬取什么东西: 电影名称、电影url、电影导演、电影主演 电影年份、电影类型、电影评分、电影评论、电影简介 1、分析所有主页的url 第一页:https://movie.douban.com/top250?start=0&filter= 第二页: 阅读全文
posted @ 2019-07-02 21:45 hh17 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 先对requests请求库快速安装pip3 install requests 导入包: 爬虫三部曲: 1、发送请求 2、解析数据 3、保存数据 实战案例:对校花网进行爬取 二、POST请求自动登录GitHub 1. 获取token字符串 在生成的github.html文件里用浏览器打开可以看到不用输 阅读全文
posted @ 2019-07-01 18:18 hh17 阅读(192) 评论(0) 推荐(0) 编辑