摘要： 一、爬虫介绍 1、场景分类 定向 指爬取指定网站 非定向 指从所有网站爬取 2、下载页面 常用的开源框架，requests&beautisoup #1.requests response=requests.get('http://') response.text #2.beautisoup模块 so 阅读全文

摘要： 一、scrapy源码流程 流程要点： 1、执行CrawlerProcess构造方法 2、CrawlerProcess对象（含有配置文件）的spiders 2.1、为每个爬虫创建一个Crawler 2.2、执行d=Crawler.crawl(...) d.addBoth(_done) 2.3、Craw 阅读全文

摘要： 一、scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架 应用原理 1、指定初始url 2、解析响应内容 -给调度器 -给item;pipeline;用于做格式化；持久化 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Schedul 阅读全文

摘要： 一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle 阅读全文

摘要： 一、websocket介绍 概述-http,socket实现，短链接，请求响应-websocket,socket实现，双工通道，请求响应，推送 socket创建连接，不断开 二、websocket握手过程分析 socket入手-服务端（socket服务端） 1、服务端开启socket,监听IP和端口 阅读全文

摘要： 一、异步非阻塞框架介绍 1、介绍 支持异步非阻塞web框架：tornado , node js 2、定义对比 异步IO模块：我们作为客户端向服务端“并发”请求 异步非阻塞web框架：针对服务端，希望一个线程处理更多的请求 二、tornado异步非阻塞 【要点提炼】 使用装饰器@gen.corouti 阅读全文

摘要： 一、缓存数据库介绍 NoSQL (not only sql) redis是业界主流的Key-value nosql数据库之一，和memcached类似 redis优点： 速度快，每秒可执行大约110000设置操作，81000个/每秒的读取操作 支持丰富的数据类型，列表，结合，可排序集合，哈希等 操作 阅读全文

摘要： 一、celery介绍 1、简介 celery是分布式任务队列celery在执行任务时需要一个消息中间件来接收和发送消息，以及存储结果，一般使用rabbitmq，redis celery的优先：简单：配置和使用比较简单高可用：当任务失败或执行过程中连接中断，celery会自动尝试重新执行快速：每分钟可 阅读全文

摘要： 一、pymysql pymsql是Python中操作MySQL的模块，其使用方法和py2的MySQLdb几乎相同。 安装 pip install pymysql 用法 # import mysql.connector #导入MySQL驱动 # db = mysql.connector.connect 阅读全文

摘要： 一、什么是jquery 是轻量级的就是库（压缩后只有21k) ，这是其它的js库所不及的，它兼容CSS3，还兼容各种浏览器 jQuery是一种快速的，简洁的javaScript库，使用户能更方便地处理HTMLdocuments、events、实现动画效果，并且方便地为网站提供AJAX交互。 另外它的 阅读全文