摘要： 在python3.5之后async更加的方便阅读 异步IO采用消息循环的模式，重复“读取消息—处理消息”的过程，也就是说异步IO模型”需要一个消息循环，在消息循环中，主线程不断地重复“读取消息-处理消息”这一过程。 协程 ：以async 声明的关键字的函数 函数名() 不会立马执行，而是返回一个异步 阅读全文

摘要： 爬虫流程 发送请求--获得数据--解析数据--存储数据 用于解析数据库 bs4 pyquery re 请求特别关心 URL method Header: Cookie 存储 Referer上一次跳转 User-Agent请求头 响应特别关心 不要把status 作为请求是否成功的结果 处理发送请求的 阅读全文

摘要： 解决思路 1.找到JS代码 2.在python重写逻辑，或者python调用js执行的模块拿到结果 看看在哪里调用了这个js逻辑 点击方法名 进入 发现调用了新的函数 再次查看visit的调用函数，找到参数的生成方式为 发现新的函数 发现经常会需要用到Gword 我们可以解析拿到这个数据 好开始刚 阅读全文