摘要：
Docker引擎介绍 (Docker Engine) Docker Engine是一个包含以下组件的客户端-服务端(C/S)应用程序 服务端 — 一个长时间运行的守护进程(Docker Daemon) REST API — 一套用于与Docker Daemon通信并指示其执行操作的接口 客户端 — 阅读全文
摘要：
事务 事务(Transaction)：一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务就是一个最小的工作单元) 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成 事务只和DML语句 ( 数据库操作语句 ) 有关，或者 阅读全文
摘要：
什么是幂等性 幂等性是系统服务对外一种承诺，承诺只要调用接口成功，外部多次调用对系统的影响是一致的。声明为幂等的服务会认为外部调用失败是常态，并且失败之后必然会有重试 什么情况下需要幂等 SELECT col1 FROM tab1 WHER col2=2，无论执行多少次都不会改变状态，是天然的幂等。 阅读全文
摘要：
介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazo 阅读全文
摘要：
介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium i 阅读全文
摘要：
介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful 阅读全文
摘要：
Requests模块简介 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的reque 阅读全文
摘要：
爬虫是什么 #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能 阅读全文
摘要：
RPM RPM全称 RPM Package Manager 缩写，由红帽开发用于软件包的安装升级卸载与查询 rpm包名组成 RPM包命名以-将软件分成了若干部分bash-4.2.46-28.el7.x86_64.rpm 获取rpm包 在我们刚开始学习rpm包，建议先使用本地CentOS7的镜像，但实 阅读全文