摘要: redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库,缓存和消息中间件 高速缓存介绍 高速缓存利用内存保存数据,读写速度远超硬盘 高速缓存可以减少 I/O 操作,降低 I/O 压力 Redis是Vmware开发的开源免费的KV型NoSQL缓存产品 Redis具有很好的性 阅读全文
posted @ 2019-05-27 22:35 Python张梦书 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 读写分离 其基本原理就是让主数据库处理事务性增,改,删操作(INSERT,UPDATE,DELETE)操作,而从数据库处理SELECT查询操作,数据库复制被用来把事物性操作导致的变更同步到其他从数据库,以SQL为例,主数据库负责写数据,读数据,读库仅负责读数据,每次有写库操作,同步更新到读库,写库就 阅读全文
posted @ 2019-05-27 22:33 Python张梦书 阅读(961) 评论(0) 推荐(0) 编辑
摘要: 一、获取远程库信息 1 2 3 $ git remote -v origin https://github.com/xxxxx/node.git (fetch) origin https://github.com/xxxxx/node.git (push) 1 2 3 $ git remote -v 阅读全文
posted @ 2019-05-27 22:33 Python张梦书 阅读(436) 评论(0) 推荐(0) 编辑
摘要: 配置全局信息 用户信息配置 创建初始仓库 创建一个版本库文件夹 md F:\\learngit 初始化仓库 $ cd f:/learngit $ git init $ touch readme.txt 常用命令 查看状态 git status 添加文件到仓库 git add filename 没有提 阅读全文
posted @ 2019-05-27 22:32 Python张梦书 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 分支管理 一、分支推进 主分支 单线分支,随着代码的提交而形成的一条直线,HEAD 随着commit提交之后的节点移动而移动。 子分支 当切换到子分支的时候,HEAD 则指向子分支的节点。 在子分支上commit提交,则子分支到下一个节点,主分支不变。 切换到主分支上,HEAD 则指向主分支。 当主 阅读全文
posted @ 2019-05-27 22:32 Python张梦书 阅读(342) 评论(0) 推荐(0) 编辑
摘要: Git的简单介绍 Git是一个开源的分布式版本控制系统,可以有效,高速的处理从很小到非常大的项目管理,GIT是为了帮助linux内核开发而开发的一个开放源码的版本控制软件 Git的安装 Linux平台上的安装 Git 的工作需要调用 curl,zlib,openssl,expat,libiconv 阅读全文
posted @ 2019-05-27 22:28 Python张梦书 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 1.实现标签的定位 2.将标签中的存储的文本内容或者相关的属性值进行提取 正则 爬虫练习之爬取糗事百科 BS4 环境安装 1.pip install BS4 2.pip install lxml 解析原理 实例化一个BeautifulSoup对象,必须把即将被解析的页面源码加载到该对象中 调用该对象 阅读全文
posted @ 2019-05-27 22:27 Python张梦书 阅读(343) 评论(0) 推荐(0) 编辑
摘要: 简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 作用: 可以让浏览器完成相关自 阅读全文
posted @ 2019-05-27 22:25 Python张梦书 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 三种方式: 1.多进程多线程(不建议) 2.进程池或者线程池(适当) 3.单线程+异步协程(推荐) 多进程多线程 占用cpu资源,不建议使用 基于线程池的异步爬虫 结果: 单线程+异步协程 基本使用 task的使用 future的使用 绑定回调 多任务异步协程 执行结果: 执行结果: 多任务异步操作 阅读全文
posted @ 2019-05-27 22:23 Python张梦书 阅读(2587) 评论(1) 推荐(1) 编辑
摘要: 在我们爬取网页的时候,可能会遇到乱码的问题,解决这种的乱码的问题有一种通用的方法 阅读全文
posted @ 2019-05-27 22:23 Python张梦书 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 当requests发送请求成功后,requests就会得到返回值,如果服务器响应正常,就会接收到响应数据; Response响应中的属性和方法 常用属性: status_code: 数据类型:int 作用:返回HTTP响应的状态码:200、404、500、等 reason: 数据类型:str 作用: 阅读全文
posted @ 2019-05-27 22:15 Python张梦书 阅读(419) 评论(0) 推荐(0) 编辑
摘要: scrapy框架 框架 ​ -具有很多功能且具有很强通用性的一个项目模板 环境安装: 创建一个工程 ​ scrapy startprobject proName cd proName 创建爬虫文件: ​ scrapy genspider spiderName www.xxx.com 执行工程: ​ 阅读全文
posted @ 2019-05-27 22:15 Python张梦书 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 最近在学习胡阳老师(the5fire)的《Django企业级开发实战》,想要使用pycharm创建django项目时,在使用virtualenv创建虚拟环境后,在pycharm内,无论如何都无法导入正确的环境。通常是提示 django is not importable in this enviro 阅读全文
posted @ 2019-05-27 22:14 Python张梦书 阅读(244) 评论(0) 推荐(0) 编辑
摘要: 什么是requests模块: requests模块是python中原生的基于网路请求的模块,其主要作用是用来模拟浏览器发送请求,功能强大,用法简洁高效,在爬虫的领域占半壁江山 如何使用requests模块: 安装:pip install requests 使用流程: 1.指定url 2.发送请求 3 阅读全文
posted @ 2019-05-27 22:12 Python张梦书 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 异常和错误 错误: 1、语法错误(这种错误,根本过不了python解释器的语法检测,必须在程序执行前就改正) 2、逻辑错误(逻辑错误) 异常: 异常就是程序运行时发生错误的信号,在python中,错误触发的异常如下: python中的异常种类: 在python中不同的异常可以用不同的类型(pytho 阅读全文
posted @ 2019-05-27 22:11 Python张梦书 阅读(168) 评论(0) 推荐(0) 编辑
摘要: @wraps 函数的装饰器修复技术,可使被装饰的函数在增加了新功能的前提下,不改变原函数名称,还继续使用原函数的注释内容; 方便了上下文环境中不去更改原来使用的函数地方的函数名; 使用方法 阅读全文
posted @ 2019-05-27 22:03 Python张梦书 阅读(121) 评论(0) 推荐(0) 编辑
摘要: Django Rest framework介绍 Django Rest framework是一个强大并且灵活的工具包,用以构建web API,可以在django的基础上,迅速实现API,并且自身还带有web的测试页面,可以方便测试自己的API Django Rest framework简单使用 Dj 阅读全文
posted @ 2019-05-27 22:02 Python张梦书 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 前端框架和库的区别 vue的起步 引包 创建实例化对象 vue的指令系统 v-if和v-show的区别 //1.声子 var App = { tempalte:` <div class='app'></div>` }; new Vue({ el:"#app", //3.用子 template:<Ap 阅读全文
posted @ 2019-05-27 21:49 Python张梦书 阅读(315) 评论(0) 推荐(0) 编辑
摘要: 什么是ECMAScript,以及es6的诞生? 1997年 ECMAScript 1.0 诞生 1999年12月 ECMAScript 3.0诞生,它 是一个巨大的成功,在业界得到了广泛的支持,它奠定了JS的基本语法,被其后版本完全继承。直到今天,我们一开始学习JS,其实就是在学3.0版的语法 20 阅读全文
posted @ 2019-05-27 21:27 Python张梦书 阅读(183) 评论(0) 推荐(0) 编辑
摘要: docker简介 docker的三大概念 镜像:我们可以理解为系统盘的dvd镜像,轻量级的镜像文件 仓库:存储docker镜像 容器:是基于镜像运行的,容器实例 docker的安装 1.安装docker yum install docker -y 2.启动docker systemctl start 阅读全文
posted @ 2019-05-27 21:25 Python张梦书 阅读(128) 评论(0) 推荐(0) 编辑