摘要: 一、selenium概念 selenium 是一个基于浏览器自动化的模块 selenium爬虫之间的关联: 1.便捷的获取动态加载的数据 2.实现模拟登录 基本使用 pip install selenium 获取浏览器的驱动程序 google驱动地址下载链接:http://chromedriver. 阅读全文
posted @ 2019-10-22 16:07 ivy_wang 阅读(869) 评论(0) 推荐(0) 编辑
摘要: 目录 1. 概念讲解 2. 多任务异步协程理解 3.基于aiohttp模块异步网络请求实现数据爬取及数据解析 一、需要了解的概念 特殊函数:如果async修饰了一个函数的定义,那么该函数就变成了一个特殊函数, 特殊之处:特殊函数被调用后函数内部实现语句不会被立即执行 该函数调用之后会返回一个协程对象 阅读全文
posted @ 2019-10-22 11:49 ivy_wang 阅读(423) 评论(0) 推荐(0) 编辑
摘要: 一、使用Flask模拟阻塞,利用线程池爬取数据 线程池代码: 阅读全文
posted @ 2019-10-22 10:16 ivy_wang 阅读(225) 评论(0) 推荐(0) 编辑