摘要： Scrapy框架 一、前言 1、介绍 前面我们学习了基础的爬虫实现方法和selenium以及数据库，那么接下来会我们学习一个上场率非常高的爬虫框架：scrapy 2、内容 scrapy的基础概念和工作流程 scrapy入门使用 二、scrapy的概念和流程 学习目标： 了解 scrapy的概念 掌握 阅读全文

摘要： 一、面向对象基础 1、面向对象思想简介 软件编程就是将我们的思维转变成计算机能够识别语言的一个过程 什么是面向过程？ 自上而下顺序执行，逐步求精 其程序结构是按功能划分为若干个基本模块，这些模块形成一个树状结构； 各模块之间的关系尽可能简单，在功能上相对独立 每一模块内部均是由顺序、选择和循环三种基 阅读全文

摘要： Redis数据库 Redis 简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他 key- value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支 阅读全文

摘要： MySQL数据库 一、MySQL数据库的介绍 1、发展史 1996年，MySQL 1.0 2008年1月16号 Sun公司收购MySQL。 2009年4月20，Oracle收购Sun公司。 MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（ 阅读全文

摘要： 安装 pip install requests -i http://mirrors.aliyun.com/pypi/simple/ 直接导入使用 import requests 给抓取的网站url url = 'http://www.baidu.com' 发起请求 # 发起请求 response = 阅读全文

摘要： requests模块的入门使用 一、requests模块的入门使用 学习目标： 了解 requests模块的介绍 掌握 requests的基本使用 掌握 response常见的属性 掌握 requests.text和content的区别 掌握 解决网页的解码问题 掌握 requests模块发送带he 阅读全文

摘要： xpath 1、xpath安装与使用 安装 安装lxml库 pip install lxml -i pip源 2、解析流程与使用 解析流程 实例化一个etree的对象，把即将被解析的页面源码加载到该对象 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和数据提取 使用 导入lxm 阅读全文

摘要： 下载 pip install beautifulsoup4 # 国外 慢 pip install beautifulsoup4 -i http://pypi.douban.com/simple/ # 国外 快 导入 from bs4 import BeautifulSoup 对象实例化 soup = 阅读全文

摘要： beautifulsoup 一、beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通 阅读全文

摘要： 开启监控页面： 插曲：mysql -s “show status” 有很多值 就可以监控了 修改配置文件: vim nginx.conf location /nginx_status { stub_status on; access_log off; } systemctl restart ngin 阅读全文

摘要： 图像自定义 解决乱码 /usr/share/zabbix 站点路径 着路径可以看配置文件 cat /etc/httpd/conf.d/zabbix.conf <Directory "/usr/share/zabbix"> #配置文件 站点目录 [root@zabbix-server zabbix]# 阅读全文

摘要： 监控一台服务器主机 安装zabbix-agent rpm -ivh https://mirror.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-agent-4.0.11-1.el7.x86_64.rpm 配置zabbix-ag 阅读全文

摘要： 安装zabbix环境 三台机器 主机名字：zabbix-server agentd1 agentd2 [root@zabbix-server ~]# cat /etc/redhat-release CentOS Linux release 7.0.1406 (Core) [root@zabbix-s 阅读全文

摘要： 实现功能：book单表的增删改查 项目urls.py :转到app01的urls里面去分发 from django.contrib import admin from django.urls import path,include from app01 import urls urlpatterns 阅读全文

摘要： ORM对象关系映射 MVC（Web）或者MTV（Django）框架中包括一个重要的部分，就是ORM 它实现了数据模型与数据库的解耦，即数据模型的设计不需要依赖于特定的数据库， 通过简单的配置就可以轻松更换数据库，这极大的减轻了开发人员的工作量， 不需要面对因数据库变更而导致的无效劳动 ORM是“对象 阅读全文

摘要： 一、视图函数 一个视图函数，简称视图，是一个简单的Python 函数，它接受Web请求并且返回Web响应。 响应可以是一张网页的HTML内容，一个重定向，一个404错误，一个XML文档，或者一张图片. . . 是任何东西都可以。 无论视图本身包含什么逻辑，都要返回响应。 代码写在哪里也无所谓，只要它 阅读全文

摘要： URL配置(URLconf)就像Django 所支撑网站的目录。 它的本质是URL与要为该URL调用的视图函数之间的映射表； 你就是以这种方式告诉Django，对于客户端发来的某个URL调用哪一段逻辑代码对应执行。 from django.urls import path,re_path from 阅读全文

摘要： 一、著名的两种模式MVC与MTV模型 Web服务器开发领域里著名MVC模式 Web应用层：模型（M）模型负责业务对象与数据库的映射(ORM) 视图（V）视图负责与用户的交互(页面) 控制器（C）控制器接受用户的输入调用模型和视图完成用户的请求 他们之间以一种插件式的、松耦合的方式连接在一起。 Dja 阅读全文

摘要： Docker简介： Docker通过内核虚拟化技术（namespaces及cgroups等）来提供容器的资源隔离与安全保障等。由于Docker通过操作系统层的虚拟化实现隔离，所有Docker容器在运行时，不需要类似虚拟机（VM）额外的操作系统开销，提高资源利用率。 Docker特性： Docker的 阅读全文

摘要： 1、安装： wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-metadata-parser-1.1.4-10.el7.x86_64.rpm rpm -ivh *.rpm --nodeps --force 这里我选择强制安 阅读全文

摘要： ✨✨安装 nginx-1.9.0.tar.gz tar xf nginx-1.9.0.tar.gz cd nginx-1.9.0. 依赖包： yum install -y pcre-devel zlib-devel gcc* cd nginx-1.9.0 ./configure --prefix=/ 阅读全文

摘要： ✨rsync生产场景应用： 1. 两台服务器间或一对多定时同步 2. 企业全网备份，通过本地打包备份，然后rsync结合inotify应用把全网数据统一备份到一个固定存储服务器，然后在这台存储服务器上通过脚本检查并报警管理员备份结果 3. rsync结合inotify的功能做实时的数据同步 定时同步 阅读全文

摘要： MHA（Master HA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automating master failover 功能。MHA在监控到master节点故障时，会提升其中拥有最新数据的slave节点成为新的master节点，在此期间，MHA会通过与其它从节点获取额外 阅读全文

摘要： ✨安装 依赖包安装： yum install -y gcc make cmake ncurses-devel libxml2-devel libtool-ltdl-devel gcc-c++ autoconf automake bison zlib-devel 创建mysql用户，软件存放目录，安装 阅读全文

摘要： 《callable ['kɔːləb(ə)l] 》 判断是否能被调用 print(callable(print)) a = 1 print(callable(a)) 结果： True False 《help》《dir》 查看都有什么功能 print(help(str)) #详细 print(dir( 阅读全文

摘要： ✨ mysql多实例 简单的说，就是在一台机器上开启多个不同的服务端口，运行多个mysql服务进程，这些服务进程通过不同的socket监听不同的服务端口来提供各自的服务。 公用一套安装程序 使用不同的my.cnf配置文件，启动程序，数据文件。 当服务器资源有剩余时，可以充分利用剩余的资源提供更多的服 阅读全文

摘要： redis简介： 1、Redis是一款开源的，ANSI C语言编写的，高级键值(key-value)缓存和支持永久存储NoSQL数据库产品。 2、Redis采用内存(In-Memory)数据集(DataSet)。 3、支持多种数据类型。 4、运行于大多数POSIX系统，如Linux、*BSD、OS 阅读全文

摘要： 字符： 重点 { \w > 匹配 字母 或 数字 或 下划线 （word的缩写） \s > 匹配任意的 空白 （space的缩写） \d > 匹配 数字 （digit缩写） \W > 匹配 非字母 或 非数字 或 非下划线 \S > 匹配任意的 非空白 \D > 匹配 非 字数 } \n > 匹配一 阅读全文

摘要： 1、安装MariaDB 安装命令 yum -y install mariadb mariadb-server 安装完成MariaDB，首先启动MariaDB systemctl start mariadb 设置开机启动 systemctl enable mariadb 接下来进行MariaDB的相关 阅读全文

摘要： ——————————str（字符串）———————— capitalize test = 'asdasdwqd' v = test.capitalize()#首字母大写 print(v) 结果：Asdasdwqd casefold / lower / upper / swapcase / title 阅读全文