1、框架概述 2、环境的安装 3、基本使用 4、数据解析 5、持久化存储 待补充 Read More
常用的抓包工具 移动端数据的爬取 配置相关的环境 fiddler的配置： tools 》options 》connections allow remote conxxx 查看fiddler的端口号，并且记住端口号 测试配置是否生效： 在电脑的浏览器访问：http://localhost:端口号/，如 Read More
作业讲解：js逆向 概述 分析 爬取的数据是动态加载 并且我们进行了抓包工具的全局搜索，没有查找到结果 意味着：爬取的数据从服务端请求到的是加密的密文数据 页面每10s刷新一次，刷新后发现数据更新，但是浏览器地址栏的url没有变，说明加载出的数据是由ajax请求到的。 动态加载出来的数据是由ajax Read More
1、概念 2、selenium的演示程序 3、selenium的基本使用 4、动态加载数据的捕获 5、动作链 6、12306模拟登陆 上边的代码中用到了一个模块，这个模块是超级鹰的一个验证码识别的模块；需要在超级鹰网站进行购买获取；代码如下： 下边的代码是将这个类实例化封装到一个函数中： 7、sel Read More
1、提升爬取数据的效率：线程池 简述 示例1：线程池的应用 2、单线程+多任务异步协程asyncio 1、特殊函数 2、协程 3、任务对象 4、事件循环对象 5、挂起 重点:不支持异步模块，则会中断异步效果 示例1:协程的基础 示例二：多任务异步爬虫 aiohttp的用法 示例三：基于aiohttp Read More
1、验证码的识别 验证码的处理 基于线上的打码平台来实现 云打码：http://www.yundama.com/about.html 超级鹰：http://www.chaojiying.com/about.html 超级鹰的使用流程： 基于用户中心的身份进行注册 用户中心的身份进行登录： 充值 创建 Read More
1、代理 概念 代理概念：代理服务器。 作用：接受请求==》请求转发。 代理和爬虫之间的关联： 可以使用请求转发的机制使得目的服务器接收到的请求对应ip的一个改变。 为什么要使用代理改变请求的ip地址？ 爬虫程序在短时间内对指定的服务器发起了一个高频的请求，则请求对应的ip可能会被目的服务器禁止。 Read More
1、数据解析 简介 1、什么是数据解析，数据解析可以干什么 2、数据解析的通用原理 正常解析两种方法 方法一：requests 方法二：urllib 区别 1、re 示例一：爬取一页数据 示例二：进行全站数据的爬取 2、bs4 安装 解析原理 实例化方式 bs4相关解析操作 示例1：进行全篇小说内容 Read More
1、爬虫概述 2、requests模块的基本使用 1、简介 2、示例 爬取搜狗首页的页面源码数据 简易的网页采集器 爬取豆瓣电影的详情数据 分析 肯德基餐厅查询 药监总局数据爬取，爬取的是每一家企业的详情数据 Read More
1、安装Anaconda 双击Anaconda3 5.0.0 Windows x86_64.exe文件 选择安装路径 下一步 安装完成 2、Anaconda介绍及使用 1、什么是anaconda 2、什么是jupyter(超级终端) 3、使用 4、快捷键 3、爬虫概述 Read More