11 2019 档案

摘要:错误现象: Mac 安装python模块时出现异常错误 解决方法: 阅读全文
posted @ 2019-11-28 18:00 忘川的彼岸 阅读(2380) 评论(0) 推荐(0) 编辑
摘要:Subprocess模块 阅读全文
posted @ 2019-11-28 16:49 忘川的彼岸 阅读(113) 评论(0) 推荐(0) 编辑
摘要:Python压缩文件 在py2和py3中对文件进行解压缩稍有不同。 shutil 模块【压缩支持py2和py3,解压只支持py3】 tarfile / zipfile模块【支持py2和py3】 阅读全文
posted @ 2019-11-28 16:05 忘川的彼岸 阅读(206) 评论(0) 推荐(0) 编辑
摘要:GitPython模块 安装: Gitpython 操作 Gitpython 操作类 阅读全文
posted @ 2019-11-28 16:03 忘川的彼岸 阅读(2383) 评论(0) 推荐(0) 编辑
摘要:Ansible是用于执行”远程操作“的简单工具。该命令允许针对一组主机定义并运行单个任务剧本。 | 常用选项 | 说明 | | | | | ask vault pass | 请求保险库密码 | | become method | 要使用的特权升级方法(default =%(default)s),请使 阅读全文
posted @ 2019-11-26 21:39 忘川的彼岸 阅读(276) 评论(0) 推荐(0) 编辑
摘要:YAML语法是ansible剧本的表达方式。 所有YAML都可以选择以 开始和 结束 列表的所有成员都是以“ ”开头的相同缩进级别的行(一个破折号和一个空格): 字典以简单的形式表示(冒号后面必须有一个空格) 更为复杂的数据结构 也可以用缩写形式: 值可以使用|或 跨多行。使用“文字块标量”|跨越多 阅读全文
posted @ 2019-11-26 20:43 忘川的彼岸 阅读(350) 评论(0) 推荐(0) 编辑
摘要:"Ansible 概念" "Ansible 安装" "YAML语法" 阅读全文
posted @ 2019-11-25 20:34 忘川的彼岸 阅读(116) 评论(0) 推荐(0) 编辑
摘要:控制节点要求 环境准备 准备工作 1. 实现两台主机间的免密钥登录 2. 更换阿里源 安装 在server端安装ansible: 阅读全文
posted @ 2019-11-25 20:32 忘川的彼岸 阅读(147) 评论(0) 推荐(0) 编辑
摘要:控住节点 管理节点 库存 模块 任务 剧本 阅读全文
posted @ 2019-11-25 20:10 忘川的彼岸 阅读(160) 评论(0) 推荐(0) 编辑
摘要:master上多为并发事务,salve上则多为单线程回放(MySQL 5.7起,支持真正的并行回放,有所缓解) 异步复制,本来就是有一定延迟的(否则也不叫做异步了,介意的话可以改成半同步复制) slave机器一般性能比master更弱(这是很常见的误区,其实slave对机 器性能要求并不低) 有时为 阅读全文
posted @ 2019-11-25 17:13 忘川的彼岸 阅读(234) 评论(0) 推荐(0) 编辑
摘要:首先,这是个假设性命题(又一个钓鱼题)。 这个需求完全可以通过系统层命令,配合MySQL中的“FLUSH BINARY LOGS”快速完成。 运行SHOW MASTER/BINARY LOGS命令能查看全部binlog列表,但没办法区别哪些是当天内生成的。 阅读全文
posted @ 2019-11-25 17:13 忘川的彼岸 阅读(423) 评论(0) 推荐(0) 编辑
摘要:以下几个措施可以防止误删数据,如下: 生产环境中,业务代码尽量不明文保存数据库连接账号密码信息 重要的DML、DDL通过平台型工具自动实施,减少人工操作 部署延迟复制从库,万一误删除时用于数据回档,且从库设置为read-only 确认备份制度及时有效 启用SQL审计功能,养成良好SQL习惯 启用 s 阅读全文
posted @ 2019-11-25 17:13 忘川的彼岸 阅读(382) 评论(0) 推荐(0) 编辑
摘要:一、生产环境中: 几种复制场景都有存在的价值。下面分别描述一下: 从成熟度上来选择,推荐:异步复制(GTID+ROW) 从数据安全及更高性能上选择:增强半同步 (在这个结构下也可以把innodb_flush_log_trx_commit调整到非1, 从而获得更好的性能) 对于主从切换控制觉的不好管理 阅读全文
posted @ 2019-11-25 17:12 忘川的彼岸 阅读(648) 评论(0) 推荐(0) 编辑
摘要:若复制中binlog使用row格式,对大表使用pt-osc把数据从旧表拷贝到临时表,期间会产生大量的binlog,从而导致延时 pt-osc在搬数据过程中insert...select是有行锁的,会降低事务并行度;且pt-osc搬数据过程中生成的binlog不是并行的,所以在slave不能并行回放 阅读全文
posted @ 2019-11-25 17:12 忘川的彼岸 阅读(353) 评论(0) 推荐(0) 编辑
摘要:一、观点A:支持MySQL存储JSON MongoDB不支持事务,而MySQL支持事务 MySQL相对MongoDB而言,MySQL的稳定性要优于MongoDB MySQL支持多种存储引擎 二、观点B:支持MongoDB存储JSON 从性能的角度考虑,对于JSON读写效率MongoDB要优于MySQ 阅读全文
posted @ 2019-11-25 17:11 忘川的彼岸 阅读(1210) 评论(0) 推荐(0) 编辑
摘要:一、前提 当数据被误删除/误操作后,第一时间要关闭数据库。业务方需要紧急挂停机公告,避免数据二次污染,用于保护数据的一致性 BINLOG格式为ROW格式,不讨论其他格式的BINLOG 二、数据被误操作(update/delete/drop)造成数据丢失,可以用哪些手段来恢复? BINLOG恢复:可以 阅读全文
posted @ 2019-11-25 17:11 忘川的彼岸 阅读(392) 评论(0) 推荐(0) 编辑
摘要:一、xtrabackup和mysqldump会造成锁等待吗? xtrabackup会,它在备份时会产生短暂的全局读锁FTWL(flush table with read lock),用于拷贝frm/MYD/MYI等文件,以及记录binlog信息。如果MyISAM表的数据量非常大,则拷贝时间就越长,加 阅读全文
posted @ 2019-11-25 17:10 忘川的彼岸 阅读(1192) 评论(0) 推荐(0) 编辑
摘要:一、为什么决定进行分库分表? 根据业务类型,和业务容量的评估,来选择和判断是否使用分库分表 当前数据库本事具有的能力,压力的评估 数据库的物理隔离,例如减少锁的争用、资源的消耗和隔离等 热点表较多,并且数据量大,可能会导致锁争抢,性能下降 数据库的高并发,数据库的读写压力过大,可能会导致数据库或系统 阅读全文
posted @ 2019-11-25 17:09 忘川的彼岸 阅读(1266) 评论(0) 推荐(0) 编辑
摘要:一、MySQL高可用架构应该考虑什么? 对业务的了解,需要考虑业务对数据库一致性要求的敏感程度,切换过程中是否有事务会丢失 对于基础设施的了解,需要了解基础设施的高可用的架构。例如 单网线,单电源等情况 对于数据库故障时间掌握,业务方最多能容忍时间范围,因为高可用切换导致的应用不可用时间 需要了解主 阅读全文
posted @ 2019-11-25 17:09 忘川的彼岸 阅读(210) 评论(0) 推荐(0) 编辑
摘要:一、导致主从不一致的原因主要有: 人为原因导致从库与主库数据不一致(从库写入) 主从复制过程中,主库异常宕机 设置了ignore/do/rewrite等replication等规则 binlog非row格式 异步复制本身不保证,半同步存在提交读的问题,增强半同步起来比较完美。 但对于异常重启(Rep 阅读全文
posted @ 2019-11-25 17:07 忘川的彼岸 阅读(1691) 评论(0) 推荐(1) 编辑
摘要:Redis中的大key一直是重点需要优化的对象,big key既占用比较多的内存,也可能占用比较多的网卡资源,造成redis阻塞,因此我们需要找到这些big key进行优化 一、寻找big key 通常来说找到redis中的big key有如下几种方法 redis-cli自带--bigkeys,例如 阅读全文
posted @ 2019-11-25 17:02 忘川的彼岸 阅读(7466) 评论(0) 推荐(0) 编辑
摘要:[toc] RESTful 的来源 REST:Representational State Transfer (表象层状态转变) REST只是三个单词的缩写,对于理解RESTful,需要理解这三个单词代表着什么: 1. 每一个URL代表一种资源; 2. 客户端和服务器之间,传递这种资源的某种表现层; 阅读全文
posted @ 2019-11-22 18:32 忘川的彼岸 阅读(500) 评论(0) 推荐(0) 编辑
摘要:"Flask介绍及简单使用" "Flask session" "Flask 登录验证(多个装饰器)" "Flask 静态资源" "Flask 蓝图" "Flask 视图" "Flask 路由系统" "Flask 配置文件" "Flask 特殊装饰器" "Flask 模板" 阅读全文
posted @ 2019-11-22 17:46 忘川的彼岸 阅读(183) 评论(0) 推荐(0) 编辑
摘要:Linux--CentOS-6系统安装 Linux--CentOS-7系统安装 Linux--启动流程 Linux--基本目录 Linux--修改主机名称 Linux--selinux Linux--网卡配置 Linux--系统运行级别 Linux--重要文件 Linux--查看系统信息 Linux 阅读全文
posted @ 2019-11-22 17:41 忘川的彼岸 阅读(195) 评论(0) 推荐(0) 编辑
摘要:/etc/resolv.conf 说明:设置Linux本地的DNS的配置文件 查看文件内容 [root@39 ~]# cat /etc/resolv.conf nameserver 10.0.0.2 注意:网卡的配置文件的DNS优先于/etc/resolv.conf配置的DNS DNS:实现域名和I 阅读全文
posted @ 2019-11-21 21:40 忘川的彼岸 阅读(414) 评论(0) 推荐(0) 编辑
摘要:CentOS-6 级别 说明 0 关机 1 单用户模式(适用于root密码忘记,没有网络) 2 多用户模式,但是没有NFS 3 多用户模式,命令模式 4 没有使用 5 图形界面模式 6 重启 查看运行级别: [root@localhost ~]# runlevel N 3 修改运行级别: 临时切换: 阅读全文
posted @ 2019-11-21 20:53 忘川的彼岸 阅读(147) 评论(0) 推荐(0) 编辑
摘要:网卡配置信息 系统版本:CentOS 6.5 IP地址获取方式 none:引导时不适用协议 static:静态分配IP地址 DHCP:自动获取IP地址 修改网卡配置文件 第一种方法:使用vim编写网卡配置文件 第二种方法:使用sed命令替换文件得到内容或者用cat命令添加 网卡DNS修改问题 修改D 阅读全文
posted @ 2019-11-21 20:43 忘川的彼岸 阅读(413) 评论(0) 推荐(0) 编辑
摘要:特点 系统版本:CentOS 6.5 Linux目录:一切从根开始 Linux下面的设备(磁盘)不挂载的话没有办法使用,使用设备必须有一个入口,挂载点实质就是一个目录。 目录结构及含义 | 目录 | 说明 | | | | | bin | 命令 二进制文件的存放目录 binary | | boot | 阅读全文
posted @ 2019-11-21 20:32 忘川的彼岸 阅读(186) 评论(0) 推荐(0) 编辑
摘要:SELinux 介绍 SELinux是美国国家安全局(NSA)对于强制访问控制的实现。大多数情况下我们会关闭SELinux。 永久关闭SELinux 修改SELinux的配置文件: 注意:修改完配置文件后需要重启服务器才能生效 临时关闭SELinux 阅读全文
posted @ 2019-11-21 20:23 忘川的彼岸 阅读(279) 评论(0) 推荐(0) 编辑
摘要:写入数据到内存里,这个数据的内存空间称为缓冲区(buffer) 从内存读取数据,这个存储数据的内存空间称为缓存区(cache) 由于大部分网站以读取为主,写入为辅,所以并发写入一般不是问题。 阅读全文
posted @ 2019-11-21 20:14 忘川的彼岸 阅读(154) 评论(0) 推荐(0) 编辑
摘要:Linux启动流程 开机自检(BIOS) MBR引导(光盘、磁盘) GRUB菜单(选择内核,一般只有一个内核) 加载内核 运行init进程,选择运行级别(Linux的第一个运行程序) 读取/etc/inittab配置文件 执行/etc/rc.d/rc.sysinit脚本(系统的初始化脚本,设置主机名 阅读全文
posted @ 2019-11-21 20:11 忘川的彼岸 阅读(260) 评论(0) 推荐(1) 编辑
摘要:模板 Flask 中的模板比Django中的模板更加方便,更加接近python语法。 可以把函数,列表,字典等数据类型传到前端HTML中,在前端的使用和python语法一致; 也可以使用模板继承,插件等 定义全局模板 阅读全文
posted @ 2019-11-21 19:45 忘川的彼岸 阅读(139) 评论(0) 推荐(0) 编辑
摘要:特殊装饰器 Flask 还有两个特殊的装饰器,利用这两个装饰器可以做到Django中间件的效果。 多个特殊装饰器: 打印结果: 原因: 阅读全文
posted @ 2019-11-21 19:45 忘川的彼岸 阅读(160) 评论(0) 推荐(0) 编辑
摘要:配置文件 配置文件的方式有很多,下面介绍两种; 第一种:根据全局变量实现 App.py settings.py localsettings.py 第二种:基于类的配置文件 app.py settings.py 阅读全文
posted @ 2019-11-21 19:44 忘川的彼岸 阅读(290) 评论(0) 推荐(0) 编辑
摘要:路由系统 flask的路由有两种写法: 第一种:装饰器形式(推荐) 第二种: 路由加载流程 动态路由 支持正则表达式的路由(扩展) 阅读全文
posted @ 2019-11-21 19:44 忘川的彼岸 阅读(155) 评论(0) 推荐(0) 编辑
摘要:视图 FBV CBV 阅读全文
posted @ 2019-11-21 19:44 忘川的彼岸 阅读(145) 评论(0) 推荐(0) 编辑
摘要:蓝图(blue print) 类似Django中的不同APP,实现分目录实现业务功能。 目录结构: manage.py \_\_init\_\_.py Bp1.py Bp2.py 阅读全文
posted @ 2019-11-21 19:43 忘川的彼岸 阅读(143) 评论(0) 推荐(0) 编辑
摘要:静态资源 阅读全文
posted @ 2019-11-21 19:43 忘川的彼岸 阅读(2275) 评论(0) 推荐(0) 编辑
摘要:登录验证(多个装饰器) 阅读全文
posted @ 2019-11-21 19:42 忘川的彼岸 阅读(345) 评论(0) 推荐(0) 编辑
摘要:session 和Django中设置session不同,Flask中的session被单独提出来了,不在request中;并且使用前需要设置secret_key参数 Flask的session存储在浏览器端,再次请求时会携带session,服务端进行解密校验 阅读全文
posted @ 2019-11-21 19:41 忘川的彼岸 阅读(130) 评论(0) 推荐(0) 编辑
摘要:Flask Django是一个大而全的框架,Flask是一个轻量级的框架。 区别: Django内部集成了大量的组件;请求处理是逐一封装和传递; Flask本身并没有太多的功能,但是第三方组件非常丰富;利用上下文管理来实现请求处理 Flask的wsgi Flask框架依赖werkzeug wsgi, 阅读全文
posted @ 2019-11-21 19:40 忘川的彼岸 阅读(426) 评论(0) 推荐(0) 编辑
摘要:ubuntu使用apt get安装Jenkins 1、添加存储库密钥 wget q O https://pkg.jenkins.io/debian/jenkins ci.org.key | sudo apt key add 2、添加软件包源 echo deb http://pkg.jenkins.i 阅读全文
posted @ 2019-11-20 19:56 忘川的彼岸 阅读(114) 评论(0) 推荐(0) 编辑
摘要:Python 中的数据库连接池 DBUtils是Python的一个用于实现数据库连接池的模块。 有两种模式 模式一:为每个线程创建一个连接,线程即使调用了close方法,也不会关闭,只是把连接重新放到连接池,供自己线程再次使用。当线程终止时,连接自动关闭。 模式二:创建一批连接到连接池,供所有线程共 阅读全文
posted @ 2019-11-20 16:51 忘川的彼岸 阅读(355) 评论(0) 推荐(0) 编辑
摘要:前端 后端 阅读全文
posted @ 2019-11-19 21:57 忘川的彼岸 阅读(399) 评论(0) 推荐(0) 编辑
摘要:Paramiko模块 安装: 示例: 示例二(上传下载文件): paramiko类 阅读全文
posted @ 2019-11-13 09:11 忘川的彼岸 阅读(375) 评论(0) 推荐(0) 编辑
摘要:mac终端上输入命令: 阅读全文
posted @ 2019-11-07 21:17 忘川的彼岸 阅读(2661) 评论(0) 推荐(0) 编辑
摘要:```python from rest_framework.generics import ListAPIView,CreateAPIView,UpdateAPIView,RetrieveAPIView,DestroyAPIView from rest_framework.filters import BaseFilterBackend from rest_framework import ser 阅读全文
posted @ 2019-11-07 20:31 忘川的彼岸 阅读(365) 评论(0) 推荐(0) 编辑
摘要:```python from django.shortcuts import render from rest_framework.generics import ListAPIView,CreateAPIView,UpdateAPIView,RetrieveAPIView,DestroyAPIView from rest_framework.filters import BaseFilterBa 阅读全文
posted @ 2019-11-07 20:31 忘川的彼岸 阅读(119) 评论(0) 推荐(0) 编辑
摘要:PageNumberPagination Settings.py文件 views.py 访问URL要求: LimitOffsetPagination Views.py 访问URL要求:`http://api.example.org/accounts/?offset=400&limit=100` 阅读全文
posted @ 2019-11-07 20:28 忘川的彼岸 阅读(147) 评论(0) 推荐(0) 编辑
摘要:models.py Urls.py Views.py 阅读全文
posted @ 2019-11-07 20:27 忘川的彼岸 阅读(982) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示