摘要: redis 简介 redis为什么那么快: 首先,采用了多路复用io阻塞机制 然后,数据结构简单,操作节省时间 最后,运行在内存中,自然速度快 redis: 内存数据库(读写快)、非关系型(操作数据方便、数据固定) mysql: 硬盘数据库(数据持久化)、关系型(操作数据间关系、可以不同组合) 大量 阅读全文
posted @ 2020-08-22 19:03 风亦缘^_^ 阅读(136) 评论(0) 推荐(0) 编辑
摘要: redis介绍与安装 介绍 官方:Redis是一个使用 C语言 编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库。 白话:Redis是一个软件,这个软件可以帮助我们维护一部分内存,让我们往那块内存中进行存取值。如果数据在内存中存储,遇到宕机那么数据就会丢失,而redis解决了这个问题,他 阅读全文
posted @ 2020-08-22 18:55 风亦缘^_^ 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 容器简介 容器(Container):容器是一种轻量级、可移植、并将应用程序进行的打包的技术,使应用程序可以在几乎任何地方以相同的方式运行 Docker将镜像文件运行起来后,产生的对象就是容器。容器相当于是镜像运行起来的一个实例。 容器具备一定的生命周期。 另外,可以借助docker ps命令查看运 阅读全文
posted @ 2020-08-22 16:41 风亦缘^_^ 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 镜像是一个Docker的可执行文件,其中包括运行应用程序所需的所有代码内容、依赖库、环境变量和配置文件等。 通过镜像可以创建一个或多个容器。 镜像搜索-docker search # 作用: 搜索Docker Hub(镜像仓库)上的镜像 # 命令格式: docker search [OPTIONS] 阅读全文
posted @ 2020-08-22 15:27 风亦缘^_^ 阅读(149) 评论(0) 推荐(0) 编辑
摘要: Docker-CE 和 Docker-EE介绍版本介绍 •Docker-CE指Docker社区版,由社区维护和提供技术支持,为免费版本,适合个人开发人员和小团队使用。 •Docker-EE指Docker企业版,为收费版本,由售后团队和技术团队提供技术支持,专为企业开发和IT团队而设计。 •相比Doc 阅读全文
posted @ 2020-08-22 15:10 风亦缘^_^ 阅读(171) 评论(0) 推荐(0) 编辑
摘要: Docker引擎介绍 (Docker Engine) Docker Engine是一个包含以下组件的客户端-服务端(C/S)应用程序 服务端 — 一个长时间运行的守护进程(Docker Daemon) REST API — 一套用于与Docker Daemon通信并指示其执行操作的接口 客户端 — 阅读全文
posted @ 2020-08-22 14:59 风亦缘^_^ 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 事务 事务(Transaction):一个最小的不可再分的工作单元;通常一个事务对应一个完整的业务(例如银行账户转账业务,该业务就是一个最小的工作单元) 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成 事务只和DML语句 ( 数据库操作语句 ) 有关,或者 阅读全文
posted @ 2020-08-22 11:39 风亦缘^_^ 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 什么是幂等性 幂等性是系统服务对外一种承诺,承诺只要调用接口成功,外部多次调用对系统的影响是一致的。声明为幂等的服务会认为外部调用失败是常态,并且失败之后必然会有重试 什么情况下需要幂等 SELECT col1 FROM tab1 WHER col2=2,无论执行多少次都不会改变状态,是天然的幂等。 阅读全文
posted @ 2020-08-22 11:38 风亦缘^_^ 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 介绍 原来scrapy的Scheduler维护的是本机的任务队列(存放Request对象及其回调函数等信息)+本机的去重队列(存放访问过的url地址) ![](https://raw.githubusercontent.com/cwyfengyiyuan/images/master/15980672 阅读全文
posted @ 2020-08-22 11:36 风亦缘^_^ 阅读(117) 评论(0) 推荐(0) 编辑
摘要: [TOP] 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazo 阅读全文
posted @ 2020-08-22 11:32 风亦缘^_^ 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium i 阅读全文
posted @ 2020-08-22 11:27 风亦缘^_^ 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful 阅读全文
posted @ 2020-08-22 11:23 风亦缘^_^ 阅读(90) 评论(0) 推荐(0) 编辑
摘要: Requests模块简介 #介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) #注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的reque 阅读全文
posted @ 2020-08-22 11:21 风亦缘^_^ 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 爬虫是什么 #1、什么是互联网? 互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成,像一张网一样。 #2、互联网建立的目的? 互联网的核心价值在于数据的共享/传递:数据是存放于一台台计算机上的,而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递,否则你只能 阅读全文
posted @ 2020-08-22 11:19 风亦缘^_^ 阅读(100) 评论(0) 推荐(0) 编辑
摘要: RPM RPM全称 RPM Package Manager 缩写,由红帽开发用于软件包的安装升级卸载与查询 rpm包名组成 RPM包命名以-将软件分成了若干部分bash-4.2.46-28.el7.x86_64.rpm 获取rpm包 在我们刚开始学习rpm包,建议先使用本地CentOS7的镜像,但实 阅读全文
posted @ 2020-08-22 11:12 风亦缘^_^ 阅读(227) 评论(0) 推荐(0) 编辑
摘要: Linux下压缩包类型 gzip打包与压缩 [root@lqz ~]# yum install gzip -y [root@lqz ~]# gzip file #对文件进行压缩 [root@lqz ~]# zcat file.gz #查看gz压缩后的文件 [root@lqz ~]# gzip -d 阅读全文
posted @ 2020-08-22 10:35 风亦缘^_^ 阅读(133) 评论(0) 推荐(0) 编辑
摘要: find查找 find 命令的基本语法 find名称查找 #1.创建文件 touch /etc/sysconfig/network-scripts/{ifcfg-eth1,IFCFG-ETH1} #2.查找/etc目录下包含ifcfg-eth0名称的文件 [root@lqz ~]# find /et 阅读全文
posted @ 2020-08-22 10:34 风亦缘^_^ 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 重定向概述 什么是重定向 将原本要输出到屏幕的数据信息,重新定向到某个指定的文件中。比如:每天凌晨定时备份数据,希望将备份数据的结果保存到某个文件中。这样第二天通过查看文件的内容就知道昨天备份的数据是成功还是失败。 重定向作用 1.当屏幕输出的信息很重要,而且希望保存重要的信息时; 2.后台执行中的 阅读全文
posted @ 2020-08-22 10:30 风亦缘^_^ 阅读(170) 评论(0) 推荐(0) 编辑
摘要: ACL访问控制概述 对文件进行自定义权限控制 UGO设置基本权限: 只能一个用户,一个组和其他人 ACL设置基本权限: r、w、x 设定acl只能是root管理员用户. 相关命令: getfacl , setfacl acl基本使用 //环境准备 [root@lqz ~]# cp /etc/pass 阅读全文
posted @ 2020-08-22 10:26 风亦缘^_^ 阅读(345) 评论(0) 推荐(0) 编辑
摘要: 特殊权限SUID 1.让普通用户对可执行的二进制文件,临时拥有二进制文件的所属主权限。 2.如果设置的二进制文件没有执行权限,那么suid的权限显示就是大S。 3.特殊权限suid仅对二进制可执行程序有效,其他文件或目录则无效。 suid授权方法4000 权限字符s(S),用户位置上的x位上设置 # 阅读全文
posted @ 2020-08-22 10:23 风亦缘^_^ 阅读(239) 评论(0) 推荐(0) 编辑