摘要：
在scrapy爬虫项目中经常遇到 爬取数据时报错无法及时处理 导致数据爬取不完整 只能先查看log才能发现报错 首先写一个简单的邮件发送模块 需要指定以下几个参数 本项目中主要使用的 pydispatch模块 绑定信号的方式发送邮件(代码片段) 准备工作已经完成，接下来就是在scrapy 爬取数据出 阅读全文
摘要：
一、简述： 最近无聊想搞一下极验的滑块验证码破解这块，发现破解js代码耗时又耗力出现版本更新可能以前的所有努力都要推翻重做，不够通用性，最后还是选用selenium + PIL 来实现滑块验证码的破解。 期间也翻阅过很多文章,大多都已经失效，并且缺口位置查找和模拟滑动轨迹成功率很低，很难应用到实际开 阅读全文
摘要：
首先说一下冒泡排序原理: 冒泡排序（Bubble Sort），是一种计算机科学领域的较简单的排序算法。 它重复地走访过要排序的元素列，依次比较两个相邻的元素，如果他们的顺序（如从大到小、首字母从A到Z）错误就把他们交换过来。走访元素的工作是重复地进行直到没有相邻元素需要交换，也就是说该元素列已经排序 阅读全文
摘要：
实际开发中，往往会用到数据库，下面将介绍mongodb在mac上如何安装 1.下载安装包 首先我们现在官网上下载最新的mongodb安装包 文件包是以tgz结尾的 点击免费试用 选择server 选择对应的版本 点击download 放到一个位置 2.配置环境变 使用命令打开用户环境变量 vim ~ 阅读全文
摘要：
项目描述: 因为公司需要,特别研究了一下openatx系列手机群控源码 源码地址: https://github.com/openatx 该项目主要以go语言来编写服务端、集成 OpenSTF中核心组件 minicap和minitouch来完成 今天主要来分析一下atx-agent服务源码中 mi 阅读全文
摘要：
Elasticsearch DSL是一个高级库，其目的是帮助编写和运行针对Elasticsearch的查询。它建立在官方低级客户端（elasticsearch-py）之上。 它提供了一种更方便和习惯的方式来编写和操作查询。它接近Elasticsearch JSON DSL，反映了它的术语和结构。它直 阅读全文
摘要：
当scrapy爬取完成以后会发送详细信息到邮箱 1.首先编写邮件发送模块 2.提供邮件提示所有数据 2.1在下载中间件中添加如下代码 2.2 在管道中加入如下代码 2.3在spiders 爬虫程序中加入如下代码 3. 当爬虫运行完毕以后会发送邮件 阅读全文
摘要：
Git是什么？ Git是目前世界上最先进的分布式版本控制系统（没有之一）。 Git有什么特点？简单来说就是：高端大气上档次！ 初始化本地仓库 创建本地分支 查看本地分支 切换本地分支 查看远程分支 从现有的仓库克隆 拉取远程分支代码到本地 阅读全文
摘要：
一、选取节点常用的路劲表达式： 二、谓语 谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点 实例： 三、通配符 Xpath通过通配符来选取未知的XML元素 四、取多个路径 使用“|”运算符可以选取多个路径 五、Xpath轴 轴可以定义相对于当前节点的节点集 六、功能函数 使用功能函 阅读全文
摘要：
下载 MongoDB的官网是：http://www.mongodb.org/ 可以在官网下载，但是我试了一下特别麻烦，所有找了一个简单的方法，可以在这个地址直接下载zip，http://dl.mongodb.org/dl/win32/x86_64 安装 1.随意创建自己喜欢的路径，C:\lucas\ 阅读全文
摘要：
一、选取节点 常用的路劲表达式： 表达式 描述 实例 nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点 / 从根节点选取 xpath(‘/div’) 从根节点上选取div节点 // 选取所有的当前节点，不考虑他们的位置 xpath(‘ 阅读全文