摘要: from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time def get_good(driver,number): try: time.sleep(5) ... 阅读全文
posted @ 2019-07-03 22:09 YoungY23 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 一、bs4的安装与使用 二、bs4解析库之遍历文档树 三、bs4解析库之搜索文档树 阅读全文
posted @ 2019-07-03 20:00 YoungY23 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 一、自动打开京东搜索蜘蛛侠和龙珠 二、自动破解滑动验证码 三、执行js代码 四、模拟浏览器的前进和后退 五、京东搜索蜘蛛侠,并且列出相关商品的详细信息(初级版) 六、京东搜索蜘蛛侠,并且列出相关商品的详细信息(狂暴版) 阅读全文
posted @ 2019-07-03 19:58 YoungY23 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 一、selenium的基本使用 导包 打开浏览器的方式: 使用try...finally方法处理异常 二、selenium选择器 导包 打开浏览器: 等待方式: 自动登录百度 start: # 结束 阅读全文
posted @ 2019-07-02 22:03 YoungY23 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 导入包 爬虫三部曲 主函数 拼接所有主页 # 结束 阅读全文
posted @ 2019-07-02 21:51 YoungY23 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 使用例子:GitHub 1. 获取token字符串 login页面请求头信息 解析提取token字符串 获取login页面的cookie信息 2.开始登录GitHub session登录url 请求头信息 请求体信息 # 结束 阅读全文
posted @ 2019-07-01 16:41 YoungY23 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 首先导入包 发送请求 解析数据 解析详情页 保存数据 测试案例: 阅读全文
posted @ 2019-07-01 14:43 YoungY23 阅读(118) 评论(0) 推荐(0) 编辑