TOP
摘要: 安装 linxu安装 方式一:硬盘免安装 启动服务端 启动客户端 方式二:安装包 方式三:rpm安装 公司说你安装以下redis 有两种情况: 1、直接给你rpm包 2、或者说你直接yum install redis - 安装公司自定制 - 安装官方 远程操作rdis的模块(模块的本质是通过sock 阅读全文
posted @ 2019-02-11 08:13 羊驼之歌 阅读(228) 评论(0) 推荐(0) 编辑
摘要: websocket 概念 是一套协议,协议规定了: - 连接时需要握手 - 发送数据进行加密 - 连接之后不断开 意义 实现长轮询等操作 框架支持 - flask,gevent-websocket - django,channel - torando框架自带 应用场景 实时响应页面时,可以使用web 阅读全文
posted @ 2019-02-11 07:28 羊驼之歌 阅读(1056) 评论(0) 推荐(0) 编辑
摘要: 高性能相关 如何实现多个任务的同时进行 而且还效率高 串行实现 效率最低最不可取 多线程 多线程存在线程利用率不高的问题 协程+IO切换 gevent内部调用greenlet(实现了协程) 基于协程比线程更加省资源 事件循环 基于事件循环的异步非阻塞模块:Twisted 阅读全文
posted @ 2019-02-11 06:52 羊驼之歌 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 分布式爬虫 概念 所谓分布式, 多个程序同时对一个任务进行操作 一分多的高效率的任务进行方式 简单说明 一个 10GB 的爬虫任务, 交给10台服务器进行同时爬取 对比单服务器无论怎么优化都是 10倍的效率, 但是成本高 需要硬件环境支持 ( 带宽, 服务器设备等 ) 多态主机共享一个爬取队列即为分 阅读全文
posted @ 2019-02-11 06:40 羊驼之歌 阅读(460) 评论(0) 推荐(0) 编辑