摘要：
LB集群实现 硬件 软件 LVS基础知识 查看内核编译IPVS情况 LVS Arch LVS Type lvs-nat lvs-dr (direct routing) lvs-tun (ip tunneling) lvs-fullnat LVS Scheduler ipvs集群服务 ipvsadm用 阅读全文
摘要：
什么是设计模式 设计模式（Design Pattern）是一套被反复使用、多数人知晓的、经过分类的、代码设计经验的总结 使用设计模式的目的 为了代码可重用性、让代码更容易被他人理解、保证代码可靠性。 设计模式使代码编写真正工程化；设计模式是软件工程的基石脉络，如同大厦的结构一样 设计模式六大原则 下 阅读全文
摘要：
IPsec VPN概述 介绍 指采用IPSec协议来实现远程接入的一种VPN技术，IPSec全称为Internet Protocol Security，是由Internet Engineering Task Force (IETF) 定义的安全标准框架，用以提供公用和专用网络的端对端加密和验证服务 阅读全文
摘要：
python高级用法 github： https://github.com/cq146637/Advanced 阅读全文
摘要：
Scrapyd部署爬虫项目 github项目 https://github.com/scrapy/scrapyd 官方文档 http://scrapyd.readthedocs.org/ 安装scrapyd http://scrapyd.readthedocs.io/en/stable/instal 阅读全文
摘要：
elasticsearch自动补全建议功能 数据入库操作 ESmapping要求 PUT music { "mappings": { "_doc" : { "properties" : { "suggest" : { "type" : "completion" }, "title" : { "typ 阅读全文
摘要：
elasticsearch简单集成到scrapy中 使用elasticsearch的python接口处理数据 https://github.com/elastic/elasticsearch-dsl-py elasticsearch-dsl-py官方使用文档 http://elasticsearch 阅读全文
摘要：
elasticsearch之倒排索引 小知识 一般搜索引擎的存储采用倒排索引，是底层数据存储的基本方式 定义 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具体该属性值的各记录的地址。 由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索 阅读全文
摘要：
elaticsearch搜索引擎 简介 ElasticSearch是一个基于Lucene的搜索服务器。 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 阅读全文
摘要：
scrapy-redis分布式爬虫 分布式需要解决的问题 request队列集中管理 去重集中管理 存储管理 分布式需要解决的问题 request队列集中管理 去重集中管理 存储管理 去重集中管理 存储管理 去重集中管理 存储管理 使用scrapy-redis实现分布式爬虫 使用scrapy-red 阅读全文
摘要：
开发scrapy扩展 定义 扩展框架提供一个机制，使得你能将自定义功能绑定到Scrapy。 扩展只是正常的类，它们在Scrapy启动时被实例化、初始化 定义 扩展框架提供一个机制，使得你能将自定义功能绑定到Scrapy。 扩展只是正常的类，它们在Scrapy启动时被实例化、初始化 扩展框架提供一个机 阅读全文
摘要：
scrapy信号量 定义 Scrapy使用信号来通知事情发生。您可以在您的Scrapy项目中捕捉一些信号(使用 extension)来完成额外的工作或添加额外的功能，扩展Scrapy。 虽然信号提供了一些参数，不过处理函数不用接收所有的参数 - 信号分发机制(singal dispatching m 阅读全文