摘要：
一、scrapy架构介绍 按图流程走 具体释义 流程词 中文释义 使用 EGINE 引擎 引擎负责控制系统所有组件之间的数据流动，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。 SCHEDULER 调度器 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可 阅读全文
摘要：
一、xpath的使用 html中选择标签，可以使用的通用方式 css选择 xpath选择 1.1介绍 XPath 即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言 1.2语法的简单介绍 表达式 描述 nodename（写个什么标签就拿什么标签） 阅读全文
摘要：
一、bs4搜索文档树 第一个参数 html_doc是要解析的内容 第二个参数 lxml是解析器（解析速度快一些） 搜索文档树：find找一个 find_all找所有 5种搜索方式：字符串、正则表达式、列表、True、方法 字符串 可以按照标签名、属性名查找 # 5.1 字符串:可以按照标签名，属性名 阅读全文
摘要：
一、requests高级用法 ssl认证（了解项） http和https的区别？ HTTP协议以明文方式发送内容，不提供任何方式的数据加密。HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付信息。 https则是具有安全性的ssl加密传输协议。 http和https使用的是完全不同的连接 阅读全文
摘要：
一、爬虫介绍 爬虫（spider）：网络蜘蛛 本质原理： 现在所有的软件原理：大部分都是基于http请求发送和获取数据的 PC端的网页 移动端app 模拟发送http请求，从别人的服务端获取数据 绕过反扒：不同程序反扒措施不一样，比较复杂 爬虫原理 发送http请求【requests，seleniu 阅读全文
摘要：
一、支付宝支付介绍 项目中需要在线支付功能 支付宝支付 微信支付：需要备案过域名 云闪付 此次项目以支付宝支付为例 先整明白支付宝的支付流程 然后去支付宝上找找API、sdk，有直接集成到项目里 此次用的sdk不是支付宝官方的，是个第三方的，基于API封装的 官方的sdk：https://opend 阅读全文
摘要：
一、课程详情页接口 一个页面对应后端的不只有一个接口，可能有很多个接口，页面加载完成后依次的发送请求，渲染相应的部分 课程章节接口——>章节下面有课时 查询所有章节接口，带按有课程id号过滤的功能，有课程id号就能拿出当前课程下所有的章节， 写视图，查询所有，同样是继承class CourseCha 阅读全文
摘要：
一、celery知识点补充 1、可以在多台机器上运行celery的worker worker可以运行在多台机器上，但是必须滴把项目代码完成copy过去，而不是把celery的包导过去，因为比如说你的包里有些django的配置文件 2、如果公司想做定时任务，celery比较大，比较麻烦，所以一般公司会 阅读全文
摘要：
一、celery介绍及快速使用 1. celery：翻译过来叫芹菜，它是一个 分布式的异步任务 框架 2. celery有什么用 1. 完成异步任务：可以提高项目的并发量，之前开启线程做，现在使用celery做 2. 完成延迟任务 3. 完成定时任务 3. 架构 消息中间件：broker 提交的任务 阅读全文
摘要：
一、图形化redis-desktop-manage qt5 QT平台：可以写图形化界面 用python开发：pyqt5写图形化界面 GUI开发 一路一步安装就行 服务里把redis启动——连接——名字——端口6379——测试连接——连接成功——自带16个库 二、redis字符串操作 redis有5大 阅读全文