01 2019 档案
摘要：一 scrapy框架简介 1 介绍 (1) 什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框
阅读全文
摘要：Mongodb安装 deppin 15.9安装mongodb 1. 导入密匙 2. 创建源列表 注意:版本需要自己注意, 3. 跟新apt get源 4. 安装Mongdb 5. 这样安装时，日志文件位置在 ，配置文件位置在 下，我们也可以进行定制 6. 启动/停止 服务端 7. 连接服务端
阅读全文
摘要：mongodb mongo简介 简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似js
阅读全文
摘要： 爬虫目录 爬虫简介与requests模块 爬虫数据解析的三种方式 爬虫之selenium模块 Mongodb安装 爬虫之Mongodb模块 爬虫之scrapy框架 爬虫之增量式爬虫
阅读全文
摘要：一 selenium模块 什么是selenium？selenium是Python的一个第三方库，对外提供的接口可以操作浏览器，然后让浏览器完成自动化的操作。 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 seleni
阅读全文
摘要：爬虫简介与requests模块 一 爬虫简介 概述 网络爬虫是一种按照一定规则,通过网页的链接地址来寻找网页的,从网站某一个页面(通常是首页)开始,读取网页的内容,找到网页中的其他链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止 爬虫的价值 互联网
阅读全文
摘要：爬虫数据解析的三方式 一.正则表达式解析 常用正则表达式回顾： 二 Xpath解析 XPath在Python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但XPath明显比re具有优势，在网页分析上使re退居二线。 测试页面数据 常用xpath表达
阅读全文
摘要：操作系统线程理论 线程概念的引入背景 进程 之前我们已经了解了操作系统中进程的概念，程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。在多道
阅读全文
摘要：salt介绍 saltstack是由thomas Hatch于2011年创建的一个开源项目，设计初衷是为了实现一个快速的远程执行系统。 salt强大吗 系统管理员日常会进行大量的重复性操作，例如安装软件，修改配置文件，创建用户，批量执行命令等等。如果主机数量庞大，单靠人工维护实在让人难以忍受。 早期
阅读全文
摘要：docker安装 官方安装方式 网址:https://docs.docker.com/install/linux/docker ce/centos/ docker版本介绍 系统环境准备 centos7系统安装 1. 卸载旧版本 2. 设置存储库 3. 安装docker社区版 4. 启动docker
阅读全文
摘要：docker基础命令 使用docker镜像 获取镜像 列出服务器所有的镜像文件 docker命令学习 1. 删除docker镜像（必须删除依赖这个镜像的容器记录） 2. 运行镜像,且产生一个容器记录,且进入容器空间内 3. 创建一个容器,在容器内安装一个vim工具 4. 提交这个容器,创建新的ima
阅读全文
摘要：docker基础 引入 环境配置的难题 软件开发最大的麻烦事之一，就是环境配置。用户计算机的环境都不相同，导致配置环境很麻烦 解决方案 1. 虚拟机 1. 用户可以通过虚拟机还原软件的原始环境。但是，这个方案有几个缺点。 资源占用多 冗余步骤多 启动慢 2. linux容器 1. Linux 容器不
阅读全文
摘要： redis学习目录 redis安装 说明 python中使用 centos7安装redis redis.conf配置信息详解 redis主从同步 redis持久化 RDB与AOF redis不重启,切换到RDB备份到AOF备份 redis哨兵功能 redis cluster(集群) &
阅读全文
摘要：redis持久化 RDB与AOF RDB与AOF区别 rdb: 基于快照的持久化,速度更快,一般用做备份,主从复制也是依赖于rdb持久化功能 aof:以追加的方式记录redis操作日志的文件,可以最大程度的保证redis数据的安全 RDB 前言 前言 是一种内存型数据库，一旦服务器进程退出，数据库的
阅读全文
摘要：redis哨兵功能 redis Sentinel(哨兵) 前言 当用redis作master slave的高可用时,如果master本身宕机,redis本身或者客户都没有实现主从切换的功能 redis sentinel是redis官方推荐的高可用性解决方案, 而redis Sentinel就是一个独
阅读全文
摘要：redis主从同步 前言 redis主从同步 原理 1. 从服务端向主服务器发送SYNC命令 2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。 3. 当主服务器执行完BGSAVE命令时,它会向从服务器发送 RDB 文件，而
阅读全文
摘要：redis cluster(集群) 简介 redis cluster是Redis的分布式解决方案，在3.0版本推出后有效地解决了redis分布式方面的需求，在3.0之前为了解决容量高可用用方面的需求基本上只能通过客户端分片+redis sentinel或者代理（twemproxy、codis）方案解
阅读全文
摘要：redis不重启,切换RDB备份到AOF备份 确保redis版本在2.2以上 查看redis版本 实验环境准备 本文是在redis4.0中,通过config set命令,达到不重启redis服务,从RDB持久化切换到AOF 1. redis.conf服务端配置 注意:写入文件时需要备注，不明白写入内
阅读全文
摘要：mysql 主从复制 基本命令: 启动mysql,这里使用的是yum下载,所以使用systemctl管理 远程连接mysql服务端 修改mysql密码 创建mysql用户 查询mysql库中的用户信息 授权语句 移除权限 详情请创建用户和授权请看:https://www.cnblogs.com/yu
阅读全文
摘要：redis.conf配置信息详解 配置文件 类似博客 详解redis配置:https://blog.csdn.net/tiantiandjava/article/details/72831529
阅读全文
摘要：路飞前后端项目部署 前言 使用软件 1. vue 1. 部署前段 2. uwsgi 1. uWSGI是一个全功能的HTTP服务器，实现了WSGI协议、uwsgi协议、http协议等。它要做的就是把HTTP协议转化成语言支持的网络协议。比如把HTTP协议转化成WSGI协议，让Python可以直接使用。
阅读全文
摘要： Flask学习目录 flask基础 flask插件 flask框架
阅读全文
摘要：部署CRM项目 前言 使用软件 1. nginx 1. 使用nginx是为了它的反向代理功能，项目会通过Django+uWSGI+Nginx进行服务器线上部署。 2. uWSGI 1. python web服务器开发使用WSGI协议（Web Server Gateway Interface） pyt
阅读全文
摘要：Python之路 人生之路无坦途，走出困境天地宽 python基础部分 千里之行，始于足下 计算机基础 python2,3的区别 基础格式 基础数据类型 列表,元祖 字典 代码块,数据池概念 集合set,深浅copy 基础类型补充 文件操作 python函数部分 &nbs
阅读全文
摘要：linux学习目录 linux学习目录 linux入门 VMware与centos系统安装非常细 linux查找命令 linux常用命令详解 linux常用命令分类 centos配置国内yum源 pip国内镜像，提升下载速度和安装成功率 virtualenv和virtualenvwrapper和pi
阅读全文
摘要：nginx安装 前言 Tengine Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。
阅读全文
摘要：redis数据库安装 使用编译方式安装 1. 下载redis源码包,注意其版本,切换到/opt目录下 2. 解压redis 3. 进入redis源码包目录 4. 编译且安装 5. 启动redis服务端 判断是否正常启动 6. 退出后新建一个配置文件,在当前目录下新建文件 7. 启动redis服务段,
阅读全文
摘要：mysql(mariadb)安装 前言 MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。 开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。 MariaDB的目的是完全兼容MySQ
阅读全文
摘要：centos7安装python3 使用编译进行安装 前言 先跳转到/opt目录，在此目录下进行安装大型软件 1. 下载python３安装包 这里注意版本号：可以先去官网查看最新版本，然后对应更改上列版本号 例: https://www.python.org/ftp/python/3.6.8/Pyth
阅读全文
摘要：virtualenv和virtualenvwrapper pipenv安装 virtualenvwrapper工具 virtualenvwrapper是用来管理virtualenv的扩展包，用着很方便。 1. 安装 2. 配置环境变量 注意：这里要检查自己的系统的环境变量，我这里是 ~/.bashr
阅读全文
摘要：contos配置国内yum源 前言 rpm管理软件包的命令，很难用，需要手动解决以来关系,所以最好用 yum 的理念是使用一个中心仓库(repository)管理一部分甚至一个distribution 的应用程序相互关系，根据计算出来的软件依赖关系进行相关的升级、安装、删除等等操作，减少了Linux
阅读全文
摘要：对于Python开发用户来讲，PIP安装软件包是家常便饭。但国外的源下载速度实在太慢，浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像，可以大幅提升下载速度，还可以提高安装成功率。 国内源： 新版ubuntu要求使用https源，要注意。 清华：https://pypi.t
阅读全文
摘要：Linux常用命令大全 1．Linux管理文件和目录的命令 | 命令 | 功能 | 命令 | 功能 | | | | | | | pwd | 显示当前目录 | ls | 查看目录下的内容 | | cd | 改变所在目录 | cat | 显示文件的内容 | | grep | 在文件中查找某字符 | cp
阅读全文
摘要：linux命令详解 开关机命令 ifconfig 查看ip地址 用户相关 添加用户,设置密码 切换用户 查看当前用户 权限相关 查看权限 特殊字符 重定向相关 iptables防火墙 1. ls 命令 就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限
阅读全文
摘要：linux查找命令 ls查看文件信息 就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等 常用参数搭配： ls a 列出目录所有文件，包含以.开始的隐藏文件 ls A 列出除.及..的其它文件
阅读全文
摘要：contos配置国内yum源 前言 rpm管理软件包的命令，很难用，需要手动解决以来关系,所以最好用 yum 的理念是使用一个中心仓库(repository)管理一部分甚至一个distribution 的应用程序相互关系，根据计算出来的软件依赖关系进行相关的升级、安装、删除等等操作，减少了Linux
阅读全文
摘要：Flask插件 flask session 下载 导入 实例化session 在__init__文件中 配置文件 用法和内置session一样 实现原理 内置的session调用 session_interface = xxxx xxxx.open_session 解密cookie转化成字典给ses
阅读全文
摘要：VueRouter基础 vue路由的注册 1. 导入 2. 定义一个匹配规则对象 python let url=[ { path: "/", component: { template: } } ] Python let router = new VueRouter({ routes: url })
阅读全文