摘要：
scrapy框架的使用 基于管道的持久化存储的编码流程 在爬虫文件中数据解析 将解析到的数据封装到一个叫做 类型的对象 将 类型的对象提交给 负责调用 的方法接收 ，然后进行某种形式的持久化存储 在配置文件中开启管道 注意事项： 全栈数据的爬取 手动请求的发送 总结：什么时候用yield 如何发送p 阅读全文
摘要：
scrapy异步的爬虫框架 异步的爬虫框架 高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式 框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。 环境安装： Linux： Windows： 基本使用 新建一个工程： 前提需要将 这个文件放在项目目录下 settings.py: 阅读全文
摘要：
selenium 概念：基于浏览器自动化的一个模块。 环境的安装： pip install selenium selenium和爬虫之间的关联： 模拟登录 便捷的捕获到动态加载的数据（重点） 特点：可见及可得 缺点：效率低 selenium的具体使用 准备浏览器的驱动程序：http://chrome 阅读全文
摘要：
开启线程池: 线程池 asyncio 特殊的函数 协程 任务对象 任务对象绑定 事件循环 from multiprocessing.dummy import Pool map(func,alist): 可以让func回调函数处理alist中的每一个列表元素，这个处理的过程是基于异步。 In [7]: 阅读全文
摘要：
对 js加密数据进行爬取和解密 分析： 爬取的数据是动态加载 并且我们进行了抓包工具的全局搜索，没有查找到结果 意味着：爬取的数据从服务端请求到的是加密的密文数据 页面每10s刷新一次，刷新后发现数据更新，但是浏览器地址栏的url没有变，说明加载出的数据是由ajax请求到的。 动态加载出来的数据是由 阅读全文
摘要：
数据解析 re bs4 xpath pyquery（作业） 什么是数据解析，数据解析可以干什么？ 概念：就是将一组数据中的局部数据进行提取。 作用：用来实现聚焦爬虫 数据解析的通用原理 问题：html展示的数据可以存储在哪里？ 标签之中 属性中 1.标签定位 2.取文本或者取属性 正则实现的数据解析 阅读全文
摘要：
requests模块的基本使用 基于网络请求的模块。 环境的安装：pip install requests 作用：模拟浏览器发起请求 分析requests的编码流程： 1.指定url 2.发起了请求 3.获取响应数据 4.持久化存储 需求：爬取搜狗首页的页面源码数据 需求：简易的网页采集器 上述代码 阅读全文
摘要：
1.Python代码操作git 安装 操作git 封装到一个类中，以后当做工具。 2.解压缩文件 3.基于paramiko操作远程服务器 4.本地执行命令 阅读全文
摘要：
增加一个知识点，当表中有多对多关联时，在前端展示的时候是一个列表，所以在展示的时候需要这样做； 表结构： 前端页面： 还有一个方法就是在models文件里写一个方法，将这个对象获取写一个列表推导式 阅读全文
摘要：
一、ModelForm的基本用法示例： ModelForm所有属性： ModelForm用于验证用户数据：is_valid() ModelForm用于创建数据：save() ModelForm用于初始化：ModelForm(instance=model_obj) ModelForm用于更新 ：Mod 阅读全文