摘要：
阅读目录 初识索引 索引的原理 索引的数据结构 聚集索引与辅助索引 MySQL索引管理 测试索引 正确使用索引 联合索引 查询优化神器-explain 慢查询优化的基本步骤 慢日志管理 初识索引 索引的原理 索引的数据结构 聚集索引与辅助索引 MySQL索引管理 测试索引 正确使用索引 联合索引 查 阅读全文
摘要：
概念引入 I/O多路复用的本质是通过一种机制（系统内核缓冲I/O数据），让单个进程可以监视多个文件描述符，一旦某个描述符就绪（一般是读就绪或写就绪），能够通知程序进行相应的读写操作。 Linux中基于socket的通信本质也是一种I/O，使用socket()函数创建的套接字默认都是阻塞的，这意味着当 阅读全文
摘要：
高内聚就是说相关度比较高的部分尽可能的集中，不要分散 例如内聚性要求强的话就像Windows32中系统提供的API，里面的函数太多了，都放在一个Dll中，那么每个函数完成一个功能。这样强大的功能，会比较复杂，所以并不是完全的高内聚越高越好，还是要看实际的需要。当然维护起来也不是特别的方便。 低耦合就 阅读全文
摘要：
一、数据库中的去重操作（删除数据库中重复记录的SQL语句）主要有三种方法 （1）、rowid方法 （2）、group by 方法 （3）、distinct方法 1、用rowid方法 根据Oracle带的rowid属性，可以进行判断是否存在重复语句； （1）、查出表1和表2中name相同的数据 Sel 阅读全文
摘要：
引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取 阅读全文
摘要：
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 阅读全文
摘要：
增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更 阅读全文
摘要：
什么是JWT Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息， 阅读全文
摘要：
使用redis包过程中出现如下问题： Traceback (most recent call last): File "Check_UaPool.py", line 92, in <module> r.srem(REDIS_KEY,IP) File "/root/.pyenv/versions/3. 阅读全文
摘要：
1.安装nginx yum install -y nginx（需要epel源） 2.安装环境 可以考虑使用虚拟化环境，本处不再使用 3.安装uwsgi yum groupinstall "Development tools" yum install zlib-devel bzip2-devel pc 阅读全文