11 2017 档案
摘要：参考：Lua中的协同程序 coroutine http.lua 协同程序（Coroutine）： 三个状态：suspended（挂起，协同刚创建完成时或者yield之后）、running（运行）、dead（函数走完后的状态，这时候不能再重新resume）。 coroutine.create(arg)
阅读全文
摘要：#!/usr/bin/python2.7 # -*- coding:utf-8 -*- """ 12306自动登录： - 先校验验证码 - 再校验用户名密码 """ import ssl import json import urllib import urllib2 import cookielib # 用来保存cookie c = cookielib.LWPCookie...
阅读全文
摘要：#!/usr/bin/python2.7 # -*- coding:utf-8 -*- # 2017-10-19 """ 12306 抢票 网页分析 - 查看网页源码 - 判断是否通过异步加载或者框架的形式接收并展示数据 - 数据加密过，然后前端再通过js解密并展示（即js混淆） urllib2.URLError: 证书作用：保证数据在传输的过程中不会被篡改或截...
阅读全文
摘要：一、start_requests Scrapy初开始运行的时候是执行的是父类Spider里的start_requests方法 也可以自己重写： 也可以用 return [Request(...)] 的形式替代 yield Reuest(...) 因为源码里会对 start_requests()方法的
阅读全文
摘要：一、表结构 class UserInfo(models.Model): """用户表""" username = models.CharField(max_length=32) password = models.CharField(max_length=64) email = models.Cha
阅读全文
摘要：写在前面 世间安得双全法 不负如来不负卿 1 s17day26 CRM项目 2 3 项目概要：XX公司CRM 4 - 权限管理，公共组件，app ***** 5 - 熟悉增删改查，Low *** 6 - 增删改查组件，公共组件，app **** 7 8 内容回顾： 9 1. .all,values,
阅读全文
摘要：单线程构建爬虫代理IP池 使用线程池加快验证代理的速度 concurrent.futures.ThreadPoolExecutor multiprocessing.dummy.Pool
阅读全文
摘要：本文代码整理自：深入理解Python异步编程（上） 参考：A Web Crawler With asyncio Coroutines 一、同步阻塞方式 二、同步多线程方式 小提示 三、非阻塞+回调（即异步非阻塞）方式 事件循环+回调 实现单线程内异步编程 事件监听 selectors模块 回调层次过
阅读全文
摘要：参考：http://aju.space/2017/07/31/Drive-into-python-asyncio-programming-part-1.html yield from 是Python 3.3 新引入的语法（PEP 380）。 它主要解决的就是在生成器里玩生成器不方便的问题。它有两大主
阅读全文
摘要：一、Scarpy简介 Scrapy基于事件驱动网络框架 Twisted 编写。（Event-driven networking） 因此，Scrapy基于并发性考虑由非阻塞(即异步)的实现。 参考：武Sir笔记 参考：Scrapy 0.25 文档 参考：Scrapy架构概览 二、爬取chouti.co
阅读全文
摘要：HTTP method constants
阅读全文
摘要：HTTP status constants 状态码参考
阅读全文
