青山

摘要： #!/usr/bin/python2.7 # -*- coding:utf-8 -*- # 2017-10-19 """ 12306 抢票 网页分析 - 查看网页源码 - 判断是否通过异步加载或者框架的形式接收并展示数据 - 数据加密过，然后前端再通过js解密并展示（即js混淆） urllib2.URLError: 证书作用：保证数据在传输的过程中不会被篡改或截... 阅读全文

摘要： 一、start_requests Scrapy初开始运行的时候是执行的是父类Spider里的start_requests方法 也可以自己重写： 也可以用 return [Request(...)] 的形式替代 yield Reuest(...) 因为源码里会对 start_requests()方法的 阅读全文

摘要： 一、表结构 二、相关数据结构 三、代码实现 四、前端展示 阅读全文

摘要： 写在前面 世间安得双全法 不负如来不负卿 1 s17day26 CRM项目 2 3 项目概要：XX公司CRM 4 - 权限管理，公共组件，app ***** 5 - 熟悉增删改查，Low *** 6 - 增删改查组件，公共组件，app **** 7 8 内容回顾： 9 1. .all,values, 阅读全文

摘要： 单线程构建爬虫代理IP池 使用线程池加快验证代理的速度 concurrent.futures.ThreadPoolExecutor multiprocessing.dummy.Pool 阅读全文

摘要： 本文代码整理自：深入理解Python异步编程（上） 参考：A Web Crawler With asyncio Coroutines 一、同步阻塞方式 二、同步多线程方式 小提示 三、非阻塞+回调（即异步非阻塞）方式 事件循环+回调 实现单线程内异步编程 事件监听 selectors模块 回调层次过 阅读全文

摘要： 参考：http://aju.space/2017/07/31/Drive-into-python-asyncio-programming-part-1.html yield from 是Python 3.3 新引入的语法（PEP 380）。 它主要解决的就是在生成器里玩生成器不方便的问题。它有两大主 阅读全文

摘要： 一、Scarpy简介 Scrapy基于事件驱动网络框架 Twisted 编写。（Event-driven networking） 因此，Scrapy基于并发性考虑由非阻塞(即异步)的实现。 参考：武Sir笔记 参考：Scrapy 0.25 文档 参考：Scrapy架构概览 二、爬取chouti.co 阅读全文

摘要： HTTP method constants 阅读全文

摘要： HTTP status constants 状态码参考 阅读全文