摘要：
一、jupyter的常用快捷键 - 插入cell: a, b a是after从后插入 a是before 从前插入 - 删除cell: dd, x 都可以 - 修改cell的模式：m, y - tab: 自动补全 - 执行cell: shift + enter - 打开帮助文档：shift + tab 阅读全文
摘要：
安装scrapy: 一、scrapy的基本使用 创建的爬虫文件说明 配置文件settings一般修改三个地方 二、基于管道持久化存储 1. 在爬虫文件中做数据解析 2. 将解析到的数据封装存储到Item类型的对象中 3. 将Item类型的对象提交给管道 4. 在管道中进行任意形式的持久化存储 5. 阅读全文
摘要：
代码应用场景 ：基于第三方打码网站模拟登陆12306 验证码识别 基于第三方平台超级鹰识别 超级鹰官网：http://www.chaojiying.com/user/ 超级鹰使用流程： 注册 登陆（用户中心）充值 创建一个软件：软件ID->生成一个软件ID（901977） 下载实例代码->开发文档- 阅读全文
摘要：
一、无头浏览器概述： 无头浏览器主要目的是打开浏览器但用户看不到 简单用法如下： 二、规避操作 规避造作主要存在的意义把selenium程序伪装成一个正常的请求，欺骗浏览器 正常情况下通过浏览器打开的一个网页的，在其console下执行window.navigator.webdriver会返回und 阅读全文
摘要：
概念：一组连续的行为动作 爬取网站：https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable 背景：把左边的方块横竖往下便宜17px 阅读全文
摘要：
一、selenium概念 selenium 是一个基于浏览器自动化的模块 selenium爬虫之间的关联： 1.便捷的获取动态加载的数据 2.实现模拟登录 基本使用 pip install selenium 获取浏览器的驱动程序 google驱动地址下载链接：http://chromedriver. 阅读全文
摘要：
目录 1. 概念讲解 2. 多任务异步协程理解 3.基于aiohttp模块异步网络请求实现数据爬取及数据解析 一、需要了解的概念 特殊函数：如果async修饰了一个函数的定义，那么该函数就变成了一个特殊函数， 特殊之处：特殊函数被调用后函数内部实现语句不会被立即执行 该函数调用之后会返回一个协程对象 阅读全文
摘要：
一、使用Flask模拟阻塞，利用线程池爬取数据 线程池代码： 阅读全文
摘要：
一、cookie 存储在客户端的键值对，可以让服务端记录客户端相关状态。 如何处理cookie? 手动处理: 将抓包工具中的请求头信息中的cookie键值拷贝到header中 自动处理：session对象 session对象：该对象和requests有类似的功能，也可以想requests一样调用ge 阅读全文
摘要：
一、代理proxy 概念：代理服务器 作用：请求和响应的转发 免费代理 www.goubanjia.com 快代理 西祠代理 代理精灵（付费） 匿名度： 透明：对方服务器知道你使用代理也知道你真实ip 匿名: 对方知道你使用代理但不知道你真实ip 高匿: 对方什么都不知道 类型： http: 只能拦 阅读全文