摘要： 一、安装rabbitMQ 准备： 下载erlanghttps://www.erlang.org/downloads下载RabbitMQhttps://github.com/rabbitmq/rabbitmq-server/releases/tag/v3.11.18 1、RabbitMQ 它依赖于Er 阅读全文

摘要： 一、使用twisted 对python3不是完全的支持，安装：pip install twisted twisted模块使用例子 from twisted.internet import reactor from twisted.web.client import Agent,readBody fr 阅读全文

摘要： 一、并发请求实现 1、多线程实现并发 from concurrent.futures import ThreadPoolExecutor import requests import time def task(url): response=requests.get(url) print(url,r 阅读全文

摘要： 一、爬虫介绍 1、场景分类 定向 指爬取指定网站 非定向 指从所有网站爬取 2、下载页面 常用的开源框架，requests&beautisoup #1.requests response=requests.get('http://') response.text #2.beautisoup模块 so 阅读全文

摘要： 一、scrapy源码流程 流程要点： 1、执行CrawlerProcess构造方法 2、CrawlerProcess对象（含有配置文件）的spiders 2.1、为每个爬虫创建一个Crawler 2.2、执行d=Crawler.crawl(...) d.addBoth(_done) 2.3、Craw 阅读全文

摘要： 一、scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架 应用原理 1、指定初始url 2、解析响应内容 -给调度器 -给item;pipeline;用于做格式化；持久化 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Schedul 阅读全文

摘要： 一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle 阅读全文

摘要： 一、websocket介绍 概述-http,socket实现，短链接，请求响应-websocket,socket实现，双工通道，请求响应，推送 socket创建连接，不断开 二、websocket握手过程分析 socket入手-服务端（socket服务端） 1、服务端开启socket,监听IP和端口 阅读全文

摘要： 一、异步非阻塞框架介绍 1、介绍 支持异步非阻塞web框架：tornado , node js 2、定义对比 异步IO模块：我们作为客户端向服务端“并发”请求 异步非阻塞web框架：针对服务端，希望一个线程处理更多的请求 二、tornado异步非阻塞 【要点提炼】 使用装饰器@gen.corouti 阅读全文

摘要： 一、缓存数据库介绍 NoSQL (not only sql) redis是业界主流的Key-value nosql数据库之一，和memcached类似 redis优点： 速度快，每秒可执行大约110000设置操作，81000个/每秒的读取操作 支持丰富的数据类型，列表，结合，可排序集合，哈希等 操作 阅读全文