摘要： [TOC] 简介 Numpy 是高性能科学计算和数据分析的基础包。它也是 pandas 等其他数据分析的工具的基础，基本所有数据分析的包都用过它。 NumPy 为 Python 带来了真正的多维数组功能，并且提供了丰富的函数库处理这些数组。 它将常用的数学函数都支持向量化运算，使得这些数学函数能够直 阅读全文

摘要： shutil 高级的文件，文件夹，压缩包的处理模块,也主要用于文件的拷贝 将文件内容拷贝到另一个文件中 shutil.copyfileobj(fsrc, fdst[, length]) 拷贝文件 shutil.copyfile(src, dst) 仅拷贝权限。内容、组、用户均不变 shutil.co 阅读全文

摘要： [TOC] 特征识别反爬虫 我们可以将爬虫的爬取过程分为网络请求、文本获取和数据提取3个部分。 信息校验型反爬虫主要出现在网络请求阶段，这个阶段的反爬虫理念以预防为主要目的，尽可能拒绝爬虫程序的请求。 动态渲染和文本混淆则出现在文本获取及数据提取阶段，这个阶段的反爬虫理念以保护数据为主要目的，尽可能 阅读全文

摘要： [TOC] 目录结构设计 采集客户端 bin : 可执行文件 start.py / run.py conf: 配置文件目录 config.py lib : 第三方文件目录 src /core : 核心的源代码文件目录 // log: 记录日志 放在 /var/logs/ 下面 test: 测试文件目 阅读全文

摘要： [TOC] 传统运维和自动化运维的对比 1.企业中，项目的发布流程 产品经理调研需求 — 》三方开会讨论(开发，产品，运维，测试) —– 开发进行开发产品 — 测试流程 (黑盒和白盒测试) —– 上线 传统的上线流程： SVN 开发将代码压缩一下发给运维，运维拿到代码之后，然后将代码解压缩，部署到服 阅读全文

摘要： 常用命令 网络相关常见命令 1.hostname hostname 没有选项，显示主机名字 hostname –f 显示完整的主机名和域名 hostname –i 显示当前机器的 ip 地址 2.ping ping 将数据包发向用户指定地址。当包被接收，目标机器发送返回数据包 windows中的 p 阅读全文

摘要： [TOC] centos7的目录结构（linux所以的都文件，万物接文件） 1 pwd 显示当前所在的路径 2 cd 切换目录结构 3 mkdir创建目录信息 4 touch 创建文件（触摸） 5 ls 检查文件或者文件目录是否存在，并列出目录底下的文件 6 cat 查看文件信息的命令 7 echo 阅读全文

摘要： Centos 系统安装 Centos 文件系统基本命令 常用命令 crontab CMDB 和自动化运维 CMDB 高级配置和插件 阅读全文

摘要： [TOC] "安装" 网卡配置 ip a 查看 IP 重启网卡,命令：systemctl restart network 重启网卡后，查看网卡状态：systemctl status network XShell 连接服务器需要先关闭防火墙 systemctl stop firewalld 临时关闭防 阅读全文

摘要： [TOC] Flask SQLAlchemy models 文件 orm.py 单表查询 一对多关联 多对多 flask_sqlalchemy flask_migrate 阅读全文