摘要： 在python3.5之后async更加的方便阅读 异步IO采用消息循环的模式，重复“读取消息—处理消息”的过程，也就是说异步IO模型”需要一个消息循环，在消息循环中，主线程不断地重复“读取消息-处理消息”这一过程。 协程 ：以async 声明的关键字的函数 函数名() 不会立马执行，而是返回一个异步 阅读全文

摘要： 爬虫流程 发送请求--获得数据--解析数据--存储数据 用于解析数据库 bs4 pyquery re 请求特别关心 URL method Header: Cookie 存储 Referer上一次跳转 User-Agent请求头 响应特别关心 不要把status 作为请求是否成功的结果 处理发送请求的 阅读全文

摘要： 解决思路 1.找到JS代码 2.在python重写逻辑，或者python调用js执行的模块拿到结果 看看在哪里调用了这个js逻辑 点击方法名 进入 发现调用了新的函数 再次查看visit的调用函数，找到参数的生成方式为 发现新的函数 发现经常会需要用到Gword 我们可以解析拿到这个数据 好开始刚 阅读全文

摘要： Git使用流程 安装使用 下载地址：https://git-scm.com/download 第一个：GIT 第二个 ：可视化工具 第三个：汉化包 git bash 创建GIT库 $ git init 或者 添加到暂存区 或者命令 git add readme.txt (使用.的话 就是提交所有) 阅读全文

摘要： 正向代理： 假设我们访问外网(这里指国外的服务器)，或者内网（公司的内网） 那台帮我们代理的计算机（值那台计算机就是我个人），他再去帮我们访问国外服务器或者公司内网就是 正向代理 反向代理： 我们直接访问谷歌，有一个专门代理别人服务器的服务器，我们请求资源向他要，这个代理服务器的主机就是反向代理‘ 阅读全文

摘要： 摘要: 在了解celery的异步任务队列之前我们来先了解下Node 似乎我与人聊过了node.js这个框架，他是一个简单运行将js运行在服务器上的 非阻塞的异步框架，一个线程就可以跑起整个项目，但是我想强调的是他的 异步非阻塞和事件驱动!他是怎么把通过一个线程处理这么多请求的，处理一个请求不会阻塞吗 阅读全文

摘要： 名词一栏 haystack ：Django的包可以对我们的model即兴快速筛选和搜索 有四个引擎:solr,Xapian,Elasticsearc,whoosh haystack ：是个全文检索框架 whoosh ： python写的轻量级引擎 额拉血Search ： 妙查引擎 大致流程 配置 使 阅读全文

摘要： 摘要 就在前几个月，我在使用爬虫框架Scrapy对亚马逊的香水信息进行采集时,亚马逊的反爬机制让我的程序开启后的半个小时内强制的停止下来(估计是被识别了 程序没嘣前还挺兴奋的说 亚马逊反爬真是太垃圾了，我连代理池都不需要设置) 但是识别了很正常，我并没在意，只需要加入代理池，我随意的拿出其中一个去请 阅读全文

摘要： 在将之前我们先了解下Django的生命周期 HTTP的特性： 3.响应式请求 4.基于TCP/IP协议的通信 1.无连接 2.无状态 请求头和响应头格式 WSIGI和cgi 和WSGIREF 前者是WSGI web服务网关协议 后者是 通用网关协议 CGI在web服务器与应用充当交互作用，这样才能处 阅读全文

摘要： 渐进式框架 -Vue.js 分离与不分离的好与坏 前后端分离后 后端仅返回前端所需的数据，大部分业务逻辑都是通过前端进行校验 不再渲染HTML页面，不再控制前端的效果，页面由页面服务器请求返回 而具体的数据通过JS去应用服务器去数据库请求得到 优点:减少页面的请求，页面无需去后端请求，最多去静态文件 阅读全文