摘要：
标准的异步协程http请求的模板,asyncio, aiohttp import asyncio import aiohttp #在实现该函数的时候，其函数实现内部不可以出现非异步模块的代码 async def request(url): async with aiohttp.ClientSessi 阅读全文
摘要：
requests模块高级操作 代理相关的操作 验证码的识别 cookie相关操作 模拟登录 一. 代理操作 什么是代理? 就是代理服务器 提供代理的网站: 快代理 西祠代理 goubanjia 代理的匿名度 透明代理: 对方服务器可以知道你使用了代理,并且也知道你的真实ip 匿名代理: 对方服务器可 阅读全文
摘要：
有两种解决方式 1.使用response.encoding = 'utf 8' 2.使用.encode('iso 8859 1').decode('gbk') 爬取美女壁纸缩略图并解决标题乱码问题 阅读全文
摘要：
爬虫的数据解析 两种爬取图片的方法 第一种: 使用with open 保存为文件 第二种: 使用urllib模块 数据解析 常用的python数据解析有四种方式 : 正则 xpath bs4 pyquery 数据解析的原理： 标签的定位 提取标签中存储的文本数据或者标签属性中存储的数据 1.正则解析 阅读全文
摘要：
工作区：当前编辑的区域 红色 缓存区：add 之后的区域 绿色 本地仓库：commit之后的区域 远程仓库：远程的区域 一.简单的命令行入门 1.git全局设置 2.创建git仓库 已有仓库? 二.基本命令 查看与添加到缓冲区 回退版本 添加别名 克隆 拉取 三 .stash快照 创建一个快照 取出 阅读全文
摘要：
requests模块 安装 : 作用：就是用来模拟浏览器上网的。 特点：简单，高效 其他的爬虫模块(old): urllib模块 一. 使用 requests模块的使用流程： 指定url 发起请求 获取响应数据 持久化存储 1.get请求使用 处理get请求的参数 需求：网页采集器 反爬机制：UA检 阅读全文
摘要：
Robots协议: 每个网站都会设置自己的Robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。而搜索引擎则会按照Robots协议给与自己的权限来进行抓取。Robots协议已经成为所有搜索引擎必须遵守的国际惯例。 例:淘宝的robots.txt查看地址为 什么 阅读全文
摘要：
用python操作Git 使用第三方模块gitpython 安装 使用 执行Git原生语句的方法 阅读全文
摘要：
celery中文译为芹菜,是一个分布式任务队列. 是异步的,所以能处理大量消息 最新的celery不支持windows下使用了,所以在使用pycharm安装celery模块之后,需要再安装eventlet模块才能测试运行. 一.异步任务 启动客户端: s1,s2要在项目目录下,如果在文件夹中执行,t 阅读全文
摘要：
roles为完全独立或相互依赖的变量，任务，文件，模板和模块集合提供框架。 在Ansible中，角色是将playbook分成多个文件的主要机制。这简化了编写 复杂的playbook ，并使其更易于重用。破坏playbook允许您在逻辑上将剧本分解为可重用的组件。 每个roles基本上仅限于特定功能或 阅读全文
摘要：
playbook更加强大, 等于说写了一个脚本来对多个被控机执行命令.playbook用的是yaml格式 执行示例: 一.playbook格式 基本格式与重要参数 1.单个playbook 示例: 使用user模块添加用户 2.多个playbook play book具有幂等性 不论执行多少次，得到 阅读全文
摘要：
ansible-doc -s 模块名称 查看使用文档 一.file 文件或者文件夹的操作 参数 示例 软连接与硬连接对比 二.fetch 拉取远程主机的文件，并以主机ip地址或者主机名为目录，并且保留了原来的目录结构 参数 示例 三.yum 安装linux的软件包 1.yum跟rpm有什么关系，有什 阅读全文
摘要：
ansible 是一个基于python开发的自动化运维工具,可以实现批量系统配置,批量程序部署,批量运行命令 需要管控机和被管控机的时间同步一致, 配置相同的时间服务器即可 一.安装 1.安装wget 需要用到wget命令,如果系统是最小化安装的,那么可能需要先安装wget 2.将epel源安装下载 阅读全文