爬虫（五）—— selenium模块启动浏览器自动化测试
摘要：selenium模块 [TOC] 一、selenium介绍 selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的
阅读全文
posted @
2019-01-23 20:58
凉城旧巷
阅读(650)
推荐(0) 编辑
爬虫（四）—— 使用pyecharts展示数据
摘要：pyecharts模块 pyecharts可以将数据形象的在页面中用图表显示 一、安装 二、使用
阅读全文
posted @
2019-01-23 20:22
凉城旧巷
阅读(640)
推荐(0) 编辑
爬虫（三）—— BeautifulSoup模块获取元素
摘要：BeautifulSoup [TOC] 一、BeautifulSoup简介 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过转换器实现惯用的文档导航、查找、修改文档的方式。Beautiful Soup 3 目前已经停止开发，官网推荐在现在的项目中使
阅读全文
posted @
2019-01-23 20:14
凉城旧巷
阅读(1555)
推荐(0) 编辑
数据库（三）—— 数据库存储引擎、日志、备份、主从复制、高可用架构
摘要：数据库存储引擎、日志、备份、主从复制、高可用架构 [TOC] 一、存储引擎 1、存储引擎作用 存储引擎和磁盘上的数据交互 2、mysql存储引擎类型 二、Innodb存储引擎特性 1、事务 （1）ACD特性的实现 对数据进行操作时，现将数据从数据库中读入内存，其中undo是记录操作以前的数据，r
阅读全文
posted @
2019-01-23 10:04
凉城旧巷
阅读(385)
推荐(0) 编辑
爬虫（二）—— 爬虫常见操作
摘要：爬虫中常见操作 [TOC] 一、requests的用法 1、常见方法 （1）params 直接将参数放在 params中 会自动进行url编码 （2）post方法 其他参数与get一致,请求体放在data中 2、session方法 该方法 自动保存和提交 cookie 3、其他方法 二、指定响应体编
阅读全文
posted @
2019-01-22 20:56
凉城旧巷
阅读(292)
推荐(0) 编辑
自动化运维
摘要：自动化运维 [TOC] 一、服务器信息指令 1、cpu信息 2、内存信息 3、IO信息 二、服务器操作 1、服务器启停 2、自动化装系统 3、自动化配置 4、生命周期管理 三、堡垒机（jumpserver） 堡垒机即CMDB中的中控机 所谓堡垒机，就是服务器不直接暴露在网络环境中，而是通过堡垒机间接
阅读全文
posted @
2019-01-22 09:26
凉城旧巷
阅读(402)
推荐(0) 编辑
爬虫（一）—— 爬虫基础
摘要：爬虫基础 [TOC] 一、什么是爬虫 爬虫是一种应用程序，用于从互联网中获取有价值的数据，从本质上来看，属于client客户端程序。 二、爬虫的原理 通常我们所谓的上网，其实本质就是用计算机通过网络去访问另一台计算机上的数据，而这些数据通常以网页的形式存在于服务器上，网页本质上就是一个文本文
阅读全文
posted @
2019-01-21 20:46
凉城旧巷
阅读(277)
推荐(0) 编辑
数据库（二）—— MySQL索引优化
摘要：MySQL的索引优化 [TOC] 一、MySQL 5.7的初始化配置 二、MySQL配置文件 1、配置 2、配置文件作用 （1）影响服务端的启动 必须配置的内容 （2）影响客户端的连接 配置内容 （3）影响初始化 三、多实例 端口号为3307、3308、3309 1、创建相关的目录 2、创建实例的配
阅读全文
posted @
2019-01-21 12:01
凉城旧巷
阅读(187)
推荐(0) 编辑
数据库（一）—— MySQL介绍
摘要：MySQL介绍 [TOC] 一、MySQL版本 1、mysql主流版本 mysql 5.6 5.6.36 5.38 5.6.40 mysql 5.7 5.7.18 5.7.20 5.7.22 2、版本选择 企业版本选择：6~12月份的GA版本 二、MySQL连接与实例 1、MySQL的C/S结构 2
阅读全文
posted @
2019-01-14 19:09
凉城旧巷
阅读(179)
推荐(0) 编辑
Linux（四）—— 项目部署与ansible自动化部署
摘要：项目部署与ansible自动化部署 [TOC] 一、项目部署 python 1.将项目的压缩包拖入xshell 2.从数据库中导出sql文件，拖入xshell 3.启动数据库服务，进入mysql数据库 4.在Linux中建立数据库 mysql create database bbs charset
阅读全文
posted @
2019-01-07 20:36
凉城旧巷
阅读(889)
推荐(0) 编辑
Linux（三）—— 项目部署环境搭建
摘要：项目部署环境搭建 [TOC] 一、linux上网 安装好linux系统后，就配置好了 二、rpm包管理 1、光盘挂载 2、安装卸载rpm包 进入Packages中才能安装软件 3、查询是否安装 4、查看软件包 5、互相依赖关系的软件包 三、yum包管理 1、使用aliyun的yum源 2、使用yum
阅读全文
posted @
2019-01-07 19:09
凉城旧巷
阅读(498)
推荐(0) 编辑
Linux（二）—— Linux配置及指令
摘要：Linux配置及指令 [TOC] 一、linux中常用软件的安装 二、主机名和网络 1、修改主机名 2、设置网络 .png) 三、关闭防火墙 1、检查防火墙是否开启 2、清除策略 3、永久关闭第一个防火墙 4、关闭第二个防火墙 .png) 四、Linux命令 1、命令组成 2、文件的分类 3、命令提
阅读全文
posted @
2019-01-04 19:55
凉城旧巷
阅读(557)
推荐(0) 编辑
Linux（一）—— Linux环境搭建
摘要：Linux环境搭建 一、虚拟机安装 1、下载地址 "https://my.vmware.com/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation_pro/14_0" 2、VMWare Workstation安装过程
阅读全文
posted @
2019-01-04 19:41
凉城旧巷
阅读(267)
推荐(0) 编辑
