摘要：
触发器的作用？触发器是一中特殊的存储过程，主要是通过事件来触发而被执行的。它可以强化约束，来维护数据的完整性和一致性，可以跟踪数据库内的操作从而不允许未经许可的更新和变化。可以联级运算。索引的作用？和它的优点缺点是什么？索引就一种特殊的查询表，数据库的搜索引擎可以利用它加速对数据的检索。它很类似与现实生活中书的目录，不需要查询整本书内容就可以找到想要的 数据。索引可以是唯一的，创建索引允许指定单个... 阅读全文
摘要：
scrapy的实现原理1、爬虫引擎ENGINE获得初始请求开始抓取。2、爬虫引擎ENGINE开始请求调度程序SCHEDULER，并准备对下一次的请求进行抓取。3、爬虫调度器返回下一个请求给爬虫引擎。4、引擎请求发送到下载器DOWNLOADER，通过下载中间件下载网络数据。5、一旦下载器完成页面下载，将下载结果返回给爬虫引擎ENGINE。6、爬虫引擎ENGINE将下载器DOWNLOADER的响应通过... 阅读全文
摘要：
在实际工作中小编遇到了一个问题那就是当我去操作部署脚本的时候，另一个人也可以操作，这怎么能行啊，后来小编就觉得重新优化下代码，给它加一个进程锁老规矩，先梳理下思路： 同一时间内，脚本只能够允许一个人来操作，那么也就是说 只要脚本执行就创建一个文件，只要存在这个文件，那么就让脚本退出，同时提示“脚本真在运行中”，脚本执行完毕，就删除创建的文件 代码如下 #!/bin/bash # 功能：打... 阅读全文
摘要：
今天记录下scrapy将数据存储到本地和数据库中，不是不会写，因为小编每次都写觉得都一样，所以记录下，以后直接用就可以了-^o^- １．本地存储 设置pipel ines.py 2. 存储到ＭongoＤB数据库 设置setting文件 设置pipel ines.py 3.MySql数据库存储 设置s 阅读全文
摘要：
100客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收，且仍未被拒绝。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。服务器必须在请求完成后向客户端发送一个最终响应。101服务器已经理解了客户端的请求，并将通过Upgrade 消息头通知客户端采用不同的协议来完成这个请求。在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定... 阅读全文
摘要：
有时候，我们天真无邪的使用urllib库或Scrapy下载HTML网页时会发现，我们要提取的网页元素并不在我们下载到的HTML之中，尽管它们在浏览器里看起来唾手可得。 这说明我们想要的元素是在我们的某些操作下通过js事件动态生成的。举个例子，我们在刷QQ空间或者微博评论的时候，一直往下刷，网页越来越长，内容越来越多，就是这个让人又爱又恨的动态加载。爬取动态页面目前来说有两种方法 ... 阅读全文
摘要：
当我们利用Ｐython scrapy框架写完脚本后，脚本已经可以稳定的进行数据的爬取，但是每次需要手动的执行，太麻烦，如果能自动运行，在自动关闭那就好了，经过小编研究，完全是可以实现的，今天小编介绍２种方案来解决这个问题 由于scrapy框架本身没有提供这样的功能，所以小编采用了linux 中cro 阅读全文
摘要：
1 请用自己的算法, 按升序合并如下两个list, 并去除重复的元素:list1 = [2, 3, 8, 4, 9, 5, 6]list2 = [5, 6, 10, 17, 11, 2]答案：(1)自己的算法？for x in list1: for y in list2: if x == y: list2.remove(y)list1... 阅读全文
摘要：
在linux 运维过程中，经常会写一些脚本监控一些服务器的状态，如监控redis 主从切换，redis 宕机等，当事件发生时，应该发送邮件通知到相对应的管理员，因此就需要搭建邮件服务，使linux 能向外网邮箱发送邮件．linux 下的邮件服务有很多，笔者使用的是mailx , 比较小巧，但也足足够用了．同样适用于centos系统首先配置环境1.下载ｍａilx2. 安装 1. 解压: ... 阅读全文